소개
조명 등 IOT장치등이 LLM Agent에 의해 자동화되도록 시도해보고 싶었습니다.
카메라 기반으로 작성해보고자 했습니다.
진행 방법
어떤 도구를 사용했고, 어떻게 활용하셨나요?
n8n
전체 워크플로우 작동
tapo IP카메라 / 라즈베리파이 fisheye 카메라
실시간으로 카메라 이미지 제공
ffmpeg 등 커맨드 툴
카메라 이미지 가져오고, Zone별로 분할, 해상도 조정 (640x640정도..)
홈어시스턴트
IoT 장치 제어
<워크플로우 로드맵 계획>
<현재까지 진행된 n8n 워크플로우>
스케줄 트리거 : 3분간격 실행
커맨드 노드 : 로컬IP카메라에서 하드디스크로 카메라이미지 가져오기, 2개 존으로 분할, 해상도조정
Read File 노드 : 분할/조정된 이미지파일 가져오기
OpenAI 노드 : 가져온 이미지 분석하고 결과 출력하기
코드 노드 : OpenAI 출력이 Airtable로 넘어가지 않아서, GPT 물어보니 Parsing해야된다고 해서 추가했는데, 꼭 필요한건지 싶습니다.
Airtable 노드 : 3분마다 기록된 결과를 기록합니다 (추후 누적된 시간의 정보를 바탕으로 AI가 상황과 맥락분석을 하기위해서 DB화를 하려고 합니다)
현재까지 빌드한 상태이고..
이후 2단계 LLM 분석 노드
IOT 장치제어 실행 노드
텔레그램 메신저 노드
추가 예정입니다!
추가로 궁금한 점은,
이렇게 1분(3분) 단위로 돌아가는 작업에서, 동일한 장문의 프롬프트를 매번 넣어주어야 하는지 궁금해요.
시스템프롬프트를 장기적으로 입력해서 토큰비용을 아낄 방법도 있는걸까요?이미지 분석 횟수가 분당 1회 정도로 셋팅하였기에 API로 활용하기에는 사실 비현실적인 워크플로우입니다.
로컬 LLM 호스팅을 해보고자 하는데, 4090급 PC에서 활용할만한 좋은 이미지분석(공간 상황 및 맥락 분석) 모델을 추천받고 싶어요.이미지에 변화가 전혀 없을경우 AI분석을 실행하지 않도록 해야 하는데, 어떻게 하는게 좋은 방법일까요?
Airtable 내용을 기반으로 OpenAI 모델이 약 30분~1시간 정도의 누적 내용을 기반으로 맥락과 상황을 분석하도록 만들고 싶은데, 어떻게 하면 효율적이고 좋을지 모르겠어요.
결과와 배운 점
n8n 정말 좋네요. 틀리지만 않으면 칼같이 작동하고 빨라요. 에어테이블과 함께 작동도 너무 잘되네요.
더 자세히 공부해보고 싶어졌어요.보안관련 문제 해결이 어려워서, 일단 방화벽을 다 풀고, 가능한 로컬에서 다 해결했어요..
비전공자를 위해 이런 기초수준에서 넓은 지식을 알려주는 강의가 있다면 좋겠어요..!
도움 받은 글 (옵션)
n8n 로컬호스팅 관련 여러가지 글 참조하였습니다.
n8n 노드활용 사례들 여러가지 글 참조하였습니다.
