CCTV 기반 실내 이미지 분석으로 조명 자동화 하기
2024.10.08

배경 및 목적
생성형 AI가 실내환경의 '디지털집사' 역할을 하기에 충분한 기술적 구현환경이 갖춰졌다고 생각한다.
IoT 환경이 갖추어진 공간 내에서 이를 활용할 수 있는 사례를 만들어 보고, 발전 방향을 모색해보고 싶다.우선은 실내에 설치된 IP Camera를 활용, 실시간 이미지를 CHAT GPT로 분석하고, 현재 상태를 판단하여 여기에 가장 적합한 조명환경으로 변경되도록 MAKE를 통해 자동화를 구현하고자 한다.
참고 자료
Scrypted 설치 (Synology NAS)
활용 툴
CHAT GPT 4O : 실시간 CCTV 이미지를 분석하고 현재 상태를 분류하여 판단
MAKE : 자동화 구성
HOMEY : 스마트홈 제어
실행 과정
<실행계획 Ver.1>
<실행과정>
(Local) Tapo IP camera 설치
(Local) Synology NAS에 Scrypted를 활용하여 IP camera의 실시간 Snapshot을 생성
Scrypted 사용 이유 : IP camera 자체에 Snapshot Out 기능이 없음.
(Make) HTTP 모듈로 NAS에 저장된 Snapshot 이미지를 가져오기
(Make) CHAT GPT 모듈로 가져온 이미지를 분석하여 상태를 판단
판단결과를 동시에 확인하기 위해 Telegram(또는 Google Sheet)으로 현재 실시간 이미지와 분석결과를 업로드
(Local) 판단결과에 적합한 조명제어 Trigger를 Smarthome Server로 송신
(Local) 조명제어 결과 확인
결과 및 인사이트
<실행과정별 결과 Ver.1>
(Local) Tapo IP camera 설치
설치난이도가 쉬어 손쉽게 설치
Scrypted 설치, 필요한 플러그인(Snapshot) 설치
Scrypted 설치 자체도 생소하여 3시간 정도 소요되었음.

(Make) HTTP 모듈로 NAS에 저장된 Snapshot 이미지를 가져오기

이렇게 구성하여 이미지를 가져오려 하였으나,

Nas에서 Image를 가져오는데 이렇게 실패되네요.
Image를 가져오는 프로세스를 더 스터디해서 다음주에 업데이트 하고자 합니다.
시험삼아 구글 검색에 노출되는 비슷한 이미지를 링크시켜 올렸더니 이렇게 잘 넘어가네요.


시간도 이상하게 나오고, Result에도 딱 숫자만 나와야 하는데 Prompt 개선도 필요해보입니다.
남은 3주간 열심히 공부해서 완성시켜야 하는데, 시작부터 쉽지가 않네요 ㅠㅠ
감사합니다.
로그인하고 댓글을 남겨 주세요
보안을 유지하면서 Nas와 같은 개인 스토리지에서 사진을 가져오는
Make 레퍼런스 영상이나 사례를 찾을 수 있을까요?
아이디어 신박하네요. 실제로 워킹하는거 성공하면 진짜 내 머리 위에 누군가가 있다는 것을 느낄 수 있겠군요 ㅎㅎ make a request 에서 세부값을 핸들링하거나 해야할 수 있을 것 같아요. 제가 서버, 네트워크쪽 지식이 없는데 멍멍님이 좋은 방향을 제시를 한 것 같아요!
저는 iptime nas를 운용 중인데, 다운로드 링크를 생성하면 http로 생성이 되고 다운이 잘 됩니다. (http get a file 모듈)
에러 메시지 처럼 https링크로 파일을 가져오다보니 ssl 인증 이슈가 발생하는 것 같네요. 링크 생성시 ssl 인증서가 필요없는 http로 생성하거나, ftp 모듈로 가져오는 방법도 고려하시면 좋을 것 같습니다
참고로 get a file로 가져온 이미지의 data를 'OPEN AI analyze images(vision)'모듈로 처리하니 이미지를 분석해주네요^^
확인이 늦었습니다.. 시도해 보겠습니다 감사합니다!
http 모듈은 request(get)이용하고 ftp모듈로도 가능하다고 gpt선생이 말해주네요^^; 저도 오전 업무 끝내고 테스트 해보겠습니다
우와.. 이제는 현실 세계랑도 인터렉션할 수 있겠군요.
어떤게 잘 안되는지 궁금합니다. Nas에서 이미지를 가지고 오지 못하는 것이 이슈인건가요?






안녕하세요 해당 내용 관련에서 관심이 많습니다. 혹시 스터디 게속 진행중이신건가요?