1주차에 이어 — 이 로봇의 '기억'은 어디에 두고, 어떻게 만들어볼지 설계해봤습니다
2026.08.03

한줄 요약
1주차에서는 "로봇부터 만들면 안 된다"는 걸 깨달았는데, 2주차에는 그 소프트웨어 부분을 실제로 어떻게 동작시킬지 구체적으로 설계해봤습니다. 핵심은 "AI 모델은 언제든 바꿀 수 있는 엔진이고, 기억은 그 엔진과 분리된 별도 서비스가 갖는다"는 구조입니다. 이번엔 전체 구성도와 흐름별 도식까지 그려가며 "실제로 이렇게 동작하게 만들려 한다"는 걸 정리했고, 여러 채널(텔레그램·슬랙·오픈클로)에서 같은 저를 기억하게 할지, 보안은 어떻게 지킬지까지 자세히 파고들어봤습니다.
이런 분들께 도움돼요
나만의 AI에게 "기억"을 어떻게 갖게 할지 고민 중인 분
GPT나 Claude 하나에 종속되지 않는 구조를 고민해보신 분
여러 에이전트·워크스페이스·스마트홈을 하나로 엮는 그림이 궁금한 분
개인 정보를 다 맡기는 AI를 만들 때 보안이 걱정되는 분
소개: 1주차에서 이어지는 것
1주차에는 GPT '엘라'와 오래 대화하다가 기억이 자꾸 끊기는 걸 느낀 계기, 그래서 로봇 형태의 개인형 AI를 구상하게 된 이야기, 그리고 검토를 거듭하다 "로봇 자체보다 기억하고 판단하는 소프트웨어가 먼저"라는 걸 깨달은 과정을 다뤘습니다.
이번 주에는 그 소프트웨어 부분, 그러니까 "이 AI가 저를 계속 기억하게 하려면 실제로 뭘 만들어야 하나"를 훨씬 구체적으로 파고들어봤습니다.
1주차와 이어지는, 구상 중인 개인형 AI 로봇의 이미지 — 이번 주는 이 로봇 안에 들어갈 "머리와 기억"을 실제로 어떻게 동작시킬지에 대한 이야기입니다.
기억을 어디에 둘 것인가 — 개념은 그대로, 이번엔 실제 구조로
1주차 때는 "오픈소스 AI를 로컬에 구축한다" 정도로만 말했는데, 핵심 개념은 이렇습니다. GPT든 Claude든 로컬 AI든, AI 모델 자체는 필요할 때 불러다 쓰는 교체 가능한 "생각하는 엔진"일 뿐이고, 진짜 중요한 건 이 엔진이 아니라 저에 대한 기억을 갖고 있는 별도의 서비스입니다.
GPT · Claude · 로컬 AI
(필요할 때 불러 쓰는, 언제든 교체 가능한 엔진)
↕
저만의 기억 서비스
(제 프로필, 대화 기록, 이전 결정들을 갖고 있음)
이번 주에는 이 한 줄짜리 개념을, 실제로 어떤 프로그램들이 어떻게 연결되는 구조인지까지 그려봤습니다.
진행 방법: 전체 그림부터, 그리고 각 부분이 실제로 어떻게 동작하는지
전체 시스템 구성도
말로만 설명하다 보니 저 스스로도 헷갈리는 부분이 있어서, 이번엔 전체 구조를 그림으로 한 번 그려봤습니다.

ELLA(개인형 AI) 중심의 영구 기억·업무·에이전트·스마트홈 통합 구조
그림을 하나씩 짚어보면 이렇습니다.
왼쪽 (집/로컬환경): 로컬 PC 안에 이미 여러 AI 워크스페이스(본인·개발·사무·법률용)가 있고, 이걸 관리하는 'ATLAS'라는 코어가 있습니다. 그 아래로 개인형 AI 로봇, 그리고 Home Assistant를 통해 보일러·조명·음악 스피커·도어 센서·에어컨 같은 집 안 기기들이 연결됩니다.
위쪽 (클라우드 AI + 오픈소스 AI): GPT·Claude·Gemini 같은 클라우드 AI와, 필요하면 쓰는 로컬 오픈소스 AI(로컬 LLM)가 나란히 있습니다. 질문 성격에 따라 그때그때 맞는 걸 골라 쓰는 구조입니다.
가운데 (Personal AI): 이 그림의 중심입니다. 제 영구 기억을 갖고 있는 ELLA Memory Service, 진행 중인 작업을 관리하는 Agent DB·Task DB가 여기 모여 있고, 클라우드 AI는 언제든 교체 가능한 존재로 취급됩니다.
오른쪽 (집밖/외부환경): 밖에 있을 때는 스마트폰으로 원격 접속하거나 간단한 업무·상태 확인을 하고, 텔레그램을 통해 Hermes나 OpenClaw에게 좀 더 복잡한 작업을 맡길 수 있습니다.
아래쪽 (생활 데이터 축적): 냉장고·옷장 스캔, 건강 데이터, 구글 캘린더처럼 일상에서 쌓이는 데이터가 계속 Personal AI 쪽으로 흘러들어갑니다.
그림 맨 아래 적어둔 핵심 개념이 이 구조가 하고 싶은 말을 한 줄로 요약해줍니다 — "클라우드 AI에 종속되지 않고, 로컬에 저장된 영구 기억을 바탕으로 여러 에이전트와 워크스페이스, 스마트홈을 연결하는 개인 AI 시스템".
이제 이 그림에서 특히 중요한 흐름들을, 하나씩 확대해서 살펴보겠습니다.
① 질문 하나가 들어오면 실제로 무슨 일이 일어나는가 — ELLA Memory Service
이 구조의 핵심은 SQLite 파일 하나(제 기억이 저장되는 곳) + 그 파일을 읽고 쓰는 FastAPI라는 작은 서버 프로그램입니다. 거창한 "기억 플랫폼"이 아니라, 딱 이 두 가지로 시작하면 됩니다.

정리하면 이렇습니다 — 텔레그램·로봇 등 어디서 질문이 들어오든, ELLA Memory Service가 먼저 관련 기억을 찾고, 그 기억을 AI 엔진에 같이 넘겨서 답을 받은 뒤, 그 결과를 다시 기억으로 저장합니다. 이렇게 하면 어떤 AI 엔진을 쓰든 저에 대한 맥락이 끊기지 않습니다.
② 집 안 기기는 실제로 어떻게 제어되는가 — Home Assistant
집 안 기기 제어는 Home Assistant라는 오픈소스 도구를 우선 후보로 검토하고 있는데, 실제 명령이 전달되는 순서는 이렇습니다.

기기별로 난이도가 다르다는 것도 확인했습니다. 조명이나 스마트 플러그처럼 단순 켜고 끄는 건 쉬운 편이지만, 보일러처럼 온도조절기·안전 문제가 걸린 기기는 난이도가 있어서 신중하게 접근하려 합니다.
③ 집 밖에서 명령하면 어떤 경로를 타는가 — 텔레그램 → OpenClaw → ELLA Core → Hermes
1주차에서 그려봤던 "카페에서 스마트폰으로 업무 보기"가, 실제로는 이런 경로를 탈 것으로 예상하고 있습니다.

접수는 OpenClaw(24시간 게이트웨이 역할), 실행은 Hermes(Claude Code·Codex를 실제로 호출하는 기능을 가진 쪽)가 맡는 구조입니다. 다만 원문에는 "OpenClaw 또는 Hermes 중 하나가 기본 창구가 되어 작업 특성에 따라 배정한다"는 대안 구조도 함께 있어서, 지금 그림이 유일한 정답은 아니고 나중에 실제로 만들어보면서 더 나은 쪽을 확인해볼 부분입니다.
④ 이걸 실제로 어떻게 띄워두려고 하는가 — Docker
프로그램 여러 개(기억 서비스, 기억 저장소, 작업 실행기)를 한 PC 안에서 서로 안 부딪히게 나눠 돌리기 위해, Docker라는 도구로 각각을 컨테이너 하나씩에 담아두는 방식을 검토하고 있습니다.
Docker (PC 한 대 안)
├─ ella-api (Memory Service API)
├─ ella-memory (SQLite 기억 저장소)
└─ ella-worker (AI 작업 실행)
프로그램을 하나씩 따로 담아두면, 나중에 하나만 고치거나 재시작해야 할 때 다른 부분을 건드리지 않아도 된다는 게 이 방식을 검토하는 이유입니다.
⑤ PC가 여러 대로 늘어나면 어떻게 관리하는가
지금은 PC마다 있는 워크스페이스 현황을 workspace-hub.md라는 문서 하나로 정리해두고 직접 확인하고 있습니다. 나중에 PC가 여러 대로 늘어나면, PC끼리 서로 직접 소통하게 두지 말고 중앙 허브 하나를 두고 각 PC가 거기에만 상태를 보고하고 작업을 받는 방식으로 관리하면 좋겠다는 방향을 조사해봤습니다.

각 PC엔 상태를 보고하고 작업을 받는 작은 프로그램(Node Agent)을 하나씩 두고, 코드는 Git으로, 완성 보고서는 NAS로, 작업 상태는 중앙 DB로, 민감한 원본은 각 PC 로컬에만 두는 식으로 자료 종류별로 공유 방식을 나누면 된다는 방향까지 확인했습니다. 지금 당장 PC 여러 대를 다 갖추려는 건 아니라서, 나중에 필요해지는 시점에 더 구체화하려 합니다.
⑥ 텔레그램 엘라, 슬랙 엘라, 오픈클로 엘라 — 지금은 따로 노는데, 기억을 하나로 공유하게 하려면
지금 구조로는 텔레그램에서 대화하는 엘라, 슬랙에서 대화하는 엘라, 오픈클로 안에서 움직이는 엘라가 사실상 서로 다른 엘라처럼 따로 놉니다. 같은 이름을 쓰고 있을 뿐, 텔레그램 엘라가 알고 있는 내용을 슬랙 엘라는 모르는 상황이 생깁니다.
이유는 단순합니다 — 텔레그램·슬랙·오픈클로가 각각 다른 세션으로 대화를 저장하기 때문입니다. 같은 이름의 에이전트를 써도, 채널이 다르면 기본적으로는 서로 다른 대화로 취급됩니다.
해결책은 identity_map이라는 연결표를 두는 것입니다.
identity_map
텔레그램 계정 ──┐
슬랙 계정 ──┼──→ 공통 user_id (저 한 명)
오픈클로 계정 ──┘
그리고 기억을 세 층으로 나눕니다.

이렇게 DB를 만들면, 텔레그램 엘라·슬랙 엘라·오픈클로 엘라가 겉모습만 같은 게 아니라 실제로 같은 기억을 공유하는 하나의 엘라가 됩니다. 텔레그램에서 묻든 슬랙에서 묻든 오픈클로에서 묻든 같은 user_id·같은 에이전트 기억을 함께 조회하게 되어서, "슬랙에서 하던 얘기를 텔레그램에서 이어서" 하는 게 가능해집니다. 다만 방금 나눈 대화 전체를 무조건 다 합치는 건 아니고 필요한 장기기억과 작업 상태만 공유하는 방식이라, 텔레그램에서 전혀 다른 새 주제를 물었을 때 슬랙 대화가 갑자기 다 딸려오는 혼란은 피하려 합니다.
⑦ 보안 — 하나가 뚫리면 다 털리는 거 아닌가
개인 정보를 전부 기억하는 AI를 만들다 보면 당연히 걱정되는 지점입니다. 프로필·건강·세무·법률·비밀번호·모든 대화를 DB 하나에 다 몰아넣으면, 그 DB 하나만 털려도 제 정보가 전부 노출됩니다.
그래서 실제로는 정보를 성격별로 나눠서 저장하는 구조를 검토했습니다.
ella-core.db (기본 프로필·정체성만)
agents.db (에이전트별 기억·작업이력)
sensitive/
├─ tax.db (세무)
├─ legal.db (법률)
└─ health.db (건강)
API 키·비밀번호 같은 건 아예 이 DB들에 넣지 않고, 운영체제의 별도 자격증명 저장소에 보관합니다. 여기에 몇 가지 원칙을 더 겹쳐둡니다 — DB를 인터넷에 직접 공개하지 않기, Memory Service만 DB에 접근하게 하기, 에이전트마다 접근 권한을 다르게 주기, 디스크 암호화, 원격 접속은 VPN으로만 하기.
이렇게 나눠두면, 예를 들어 업무용 에이전트 하나가 뚫리더라도 그 에이전트가 애초에 접근 권한이 없는 세무·법률·건강 정보까지 같이 털리지는 않습니다. "하나 뚫리면 전부 다"가 아니라 "뚫린 부분만"으로 피해를 줄이는 게 핵심입니다.
기술 후보 비교 — 표로 정리하니 오히려 이해가 쉬웠습니다
이번 주는 검토할 후보가 여러 개라 글로만 풀면 오히려 헷갈릴 것 같아서, 표로도 정리해봤습니다.
로컬 AI 모델을 지금 당장 추가할 것인가
방식 | 가능 여부 | 난이도 | 비고 |
|---|---|---|---|
클라우드 AI만 사용 (로컬 모델 없이) | 가능 | 낮음 | 1차로 이 방식부터 시작하는 게 맞다고 판단 |
로컬 오픈소스 AI 추가 | 가능 | 보통 | 나중 단계에서 검토 |
밖에서 이 AI에게 어떻게 접근할 것인가
방식 | 가능 여부 | 난이도 | 비고 |
|---|---|---|---|
메신저로 원격 작업 지시 | 가능 | 낮음~보통 | 위 ③ 흐름과 동일, 이미 익숙한 구조라 진입장벽이 낮음 |
스마트폰으로 직접 원격 접속 | 가능 | 낮음 | 1주차의 "카페에서 스마트폰+휴대용 모니터" 그림과 연결됨 |
PC가 여러 대일 때 어떻게 관리할 것인가
방식 | 가능 여부 | 난이도 | 비고 |
|---|---|---|---|
지금처럼 문서 하나로 확인 | 가능 | 낮음 | PC 한두 대일 때는 충분 |
중앙 허브(Node Agent + Task Queue) | 가능 | 높음 | PC가 여러 대로 늘어날 때 채택할 방향으로 검토, 아직 구현 안 함 |
채널마다 다른 기억을 어떻게 합칠 것인가
방식 | 가능 여부 | 난이도 | 비고 |
|---|---|---|---|
채널별 세션만 사용 (지금) | 가능 | 낮음 | 채널을 넘어가면 맥락이 안 이어짐 |
identity_map + 3계층 기억 | 가능 | 보통 | 이번에 만들 기억 서비스에 포함시킬 계획 |
막혔던 순간과 해결
이번 주는 다뤄야 할 주제가 계속 늘어났습니다. 기억을 어디에 둘지 정리하고 나니 기기 제어가, 그다음엔 원격 실행이, 그러다 PC 확장과 채널 기억 통합, 보안까지 이어졌습니다. 새 주제가 하나씩 늘어날 때마다, 이게 지금까지 정리해온 전체 그림과 잘 맞물리는 이야기인지 헷갈리는 순간이 여러 번 있었습니다.
그럴 때마다 맨 처음 그린 전체 시스템 구성도로 다시 돌아가서, 새로 파고든 내용이 그림의 어느 부분과 이어지는지 하나씩 확인하면서 정리했습니다. 그렇게 하고 나니 따로따로 흩어져 있는 것 같던 이야기들이 다시 하나의 그림 안으로 모였습니다.
결과와 배운 점
Before vs After
항목 | Before (1주차 시점) | After (2주차) |
|---|---|---|
기억을 두는 곳 | "로컬에 오픈소스 AI를 구축한다" 정도의 큰 방향 | "AI는 엔진, 기억은 별도 서비스"로 구조가 명확해짐 |
전체 구조 | 텍스트 설명 위주 | 시스템 구성도 + 흐름별 도식으로 한눈에 보임 |
여러 채널 기억 | 텔레그램·슬랙·오픈클로 엘라가 각자 따로 기억 | identity_map + 3계층 기억으로 합칠 방법 확인 |
보안 | 고려 안 함 | DB를 성격별로 분리해서 피해 범위를 줄이는 방법 확인 |
결과물
전체 시스템 구성도 1장 + 흐름별 도식 6개(기억조회, 기기제어, 원격실행, PC분산관리, 채널기억통합, 보안구조)
기억 서비스(SQLite+FastAPI), Docker 배포, PC 확장, 채널 기억 통합, 보안 분리까지 포함한 구축 계획
배운 점과 나만의 꿀팁
구조가 복잡해질수록, 글보다 그림 한 장이 훨씬 빨리 이해된다는 걸 다시 느꼈습니다.
자료가 많고 길수록 한 번 훑고 넘어가기 쉬운데, 중요한 주제(보안, 채널 통합)는 다시 한번 자세히 찾아봐야 놓치지 않는다는 걸 배웠습니다.
앞으로의 계획
이번 주에 정리한 기억 구조, 기기 제어, 원격 실행, PC 확장, 채널 기억 통합, 보안까지 — 이 전체 그림을 앞으로도 계속 이어서 기술적으로 더 자세하게 다듬어보려 합니다. 지금은 방향과 큰 틀만 잡아둔 상태라서, 각 부분을 실제로 어떻게 구현할지 하나씩 더 구체화하면서 기획을 완성도 있게 만들어가는 게 다음 목표입니다.
로그인하고 댓글을 남겨 주세요
1주차에서 "로봇보다 소프트웨어가 먼저"를 깨달으셨다고 하셨는데, 2주차에서 그 소프트웨어를 실제 구성도로 그려내셨군요. "AI 모델은 언제든 교체 가능한 엔진이고, 기억은 별도 서비스가 갖는다"는 설계 원칙이 명확해서 — 이걸 말로만 정리한 게 아니라 도식으로 그려가며 검증하신 게 좋았어요.
멀티채널(텔레그램·슬랙·오픈클로)에서 같은 자신을 기억하게 하는 문제, 보안(E2E 암호화)까지 이번 주차에서 같이 파고드셨다는 것도요. 보통은 "일단 만들고 나중에 보안 생각하자"가 되기 쉬운데, 설계 단계에서 같이 고민하셨다는 게 나중에 분명히 빛을 발할 거예요.
ELLA가 실제로 여러 채널에서 본인을 기억하게 되는 날 후기도 꼭 남겨주세요. 고롱고롱 기다리고 있을게요 ✨



구상을 많이 하셨네요
점점 체계화 되는것 같습니다.
화이팅 하세요 ^^