한줄 요약
작년부터 GPT에 '엘라'라는 이름을 붙여 개인형 비서처럼 써왔는데, 대화가 쌓여도 기억이 남지 않는 게 한계였습니다. 그 한계를 넘어서려고 '나를 영구적으로 기억하는 AI'를 로봇 하드웨어에 심는 구상을 하게 됐고, 지금은 이 구상을 실제로 어디까지 구현할 수 있을지 Claude Code로 하나씩 검증해보고 있습니다.
이런 분들께 도움돼요
나만의 AI 비서를 키워봤는데, 이걸 하드웨어로 확장하고 싶은 분
집 안 IoT와 개인화 AI를 연결하는 그림이 궁금한 분
아이디어를 AI에게 검증시키는 실제 방법이 궁금한 분
소개: 시도하고자 했던 것과 그 이유
GPT 개인비서에서 한계를 느끼다
작년부터 GPT를 쓰면서 '엘라'라는 이름을 붙인 개인 챗봇을 만들어 개인형 비서처럼 사용해왔습니다. 제 업무와 성향, 앞으로의 계획을 이야기 상대처럼 나누는 존재였습니다.
그런데 GPT는 사용자에 대한 누적 학습과 영구 기억이 안 된다는 한계가 있었습니다. 대화가 아무리 쌓여도, 새 대화창을 열면 과거의 대화 내용을 계속 이어 가기가 어려웠습니다. 이걸 가능하게 하는 'AI 개인형 비서'를 만들고 싶다는 게 이 모든 구상의 출발점이었습니다.
로봇 하드웨어로 옮기자는 생각
'AI 개인형 비서'를 PC 화면 안에만 두지 않고, 별도 하드웨어에 그 페르소나를 이식해서 침대 앞이나 책상 앞에 두고, 제가 원할 때 대화하며 업무를 처리하는 'AI 개인형 로봇'으로 발전시키면 좋겠다는 생각으로 이어졌습니다.
라즈베리 파이 AI 개인 로봇 WP 프로토타이핑
(구상하고 있는 개인형 AI 로봇의 이미지)
라즈베리파이 같은 보드에 마이크·스피커·디스플레이를 붙이고, 음성인식과 AI 응답을 연결하는 정도면 아주 작은 시제품(MVP)은 충분히 그려볼 수 있겠다 싶었습니다. 다만 이건 지금 당장 만들겠다는 게 아니라, "이런 그림이 가능하겠다"는 참고용 스케치에 가깝습니다.
이 로봇은 이렇게 쓰고 싶습니다
아침에 눈을 뜨면
머릿속으로 그려본 아침 시나리오는 이렇습니다. 눈을 뜨자마자 로봇에게 말을 겁니다.
"엘라, 오늘 날씨 어때?"
"엘라, 오늘 내 사주 일진이 어때?"
날씨·운세처럼 바로 찾아볼 수 있는 정보는 물어보면 즉시 답해줍니다.
"엘라, 오늘 할 일 좀 정리해줘."
"그중에 오늘 제일 중요한 게 뭔지 순서대로 알려줘."
일정을 확인해서 오늘 할 일을 정리해주는데, 그냥 나열만 하는 게 아니라 뭐가 더 중요한지 우선순위까지 가려서 알려줍니다.
"냉장고에 뭐가 비어 있어?"
"이번 주말에 장볼 게 뭐야?"
미리 등록해둔 냉장고·상비품 목록을 보고 부족한 걸 알려줍니다.
"여름이 오는데 옷 살 게 뭐야?"
"이번 주말에 친구를 만나는데 코디는 어떻게 하면 좋을까?"
옷장 정보와 계절·약속 같은 상황을 같이 고려해서 추천해줍니다.
이렇게 로봇이 로컬 PC와 연계해서 필요한 걸 분석·확인하고, 다시 말로 답해주는 구조를 그리고 있습니다.
업무로도 확장 — 로봇이 내 일까지 대신 챙겨준다
일상만이 아니라 제가 진행하는 업무도 같이 처리해주는 개인형 AI 로봇으로 생각이 넓어졌습니다.
여기엔 예전부터 품고 있던 바람이 하나 있습니다. 무거운 노트북을 들고 다니지 않고, 스마트폰 한 개만 있으면 어디서든 업무를 볼 수 있는 환경을 만들어보고 싶었습니다.
로컬 PC에는 이미 여러 개의 워크스페이스(작업 공간)를 구축해뒀습니다. 최신 스마트폰 한 대와 휴대용 모니터, 휴대용 키보드만 챙겨서 카페에 앉아 있다고 하면, 두 가지 방식을 그려볼 수 있습니다.
하나는 스마트폰으로 집 PC에 접속 한 뒤, '헤르메스'나 '오픈클로'에 심어둔 AI 개인형 비서에게 원하는 작업을 요청하면, 비서가 로컬 PC의 워크스페이스를 대신 실행하고 컨트롤해서 처리해주는 방식입니다. 다른 하나는 AI 비서를 거치지 않고, 스마트폰으로 로컬 PC에 바로 접속해서 제가 직접 처리하는 방식입니다. 상황에 따라 둘 다 쓸 수 있는 그림을 그리고 있습니다.
다만 이게 실제로 어디까지 매끄럽게 될지는 아직 다 확인한 게 아니라서, 기획을 구체화하는 과정에서 기술적으로 더 검토해봐야 할 부분입니다.
집에 도착하기 전
퇴근길이나 외출 후 귀가할 때는 이렇게 말을 걸 수 있으면 좋겠다고 그려봤습니다.
"엘라, 나 집에 도착하기 20분 전인데 보일러 좀 틀어줘."
"엘라, 나 집에 도착하기 10분 전인데 내가 좋아하는 음악 좀 틀어줘."
도착 시간에 맞춰 집 안 기기를 실제로 제어해주는 부분입니다.
아침의 일상 챙기기, 밖에서의 업무 처리, 귀가할 때의 집 제어까지 — 이런 통합적인 작업이 가능하게 하는 게 지금 구상 중인 '개인형 AI 로봇'입니다.
기술적으로는 이렇게 구현하려고 합니다
이 구상을 실현하려면 몇 가지 기술적인 축이 필요했습니다. 그중 하나가 'AI 주권'이라는 개념입니다. 로컬 PC에 오픈소스 AI를 직접 세팅해서, 유료 AI 서비스에만 의존하지 않고 나를 영구적으로 학습하는 AI를 제가 직접 소유하는 방향입니다.
이 부분을 도식으로 정리해보면 이렇습니다.
나를 영구적으로 기억하는 AI (오픈소스 AI, 로컬 PC)
↓
AI 워크스페이스 + 헤르메스 (여러 업무 공간을 하나로 컨트롤)
↓
개인형 AI 로봇 하드웨어 (집 안, 대화형 인터페이스)
↓
IoT로 연결된 집 안 기기들 (조명·보일러·음악 등 실제 제어)
그리고 앞서 말한 "카페에서 스마트폰으로 업무 보기"는 이 흐름의 반대쪽 진입로라고 보면 됩니다.
집 밖 (카페 등)
스마트폰 + 휴대용 모니터·키보드
↓
헤르메스 호출 → 집 PC의 워크스페이스 실행
↓
개인 업무 처리 (자료 검토, 문서 작업 등)
두 도식 다 지금 실제로 만들어진 것이 아니라, 지금 구상하고 있는 기술 그림입니다. 집 안에서는 로봇을 통해 위에서 아래로 흐르고, 집 밖에서는 스마트폰을 통해 헤르메스로 진입해서 워크스페이스에 닿는 구조입니다.
이 아이디어는 이렇게 발전해왔습니다
여기까지는 제가 그리고 있는 그림이고, 사실 여기까지 오는 동안 혼자 상상만 한 건 아니었습니다. Claude Code로 실제로 검토하고 확인해보는 과정을 거쳤는데, 흐름만 먼저 보면 이렇습니다.
2025-09월, GPT '엘라'와 오래 대화 → 기억이 자꾸 끊김
↓
"기억을 밖으로 꺼내 영구 보존하자" — 아이디어 구상
↓
세 갈래로 확장 : 오픈소스 AI 구축 · 헤르메스 원격제어 · 개인형 로봇(IoT)
↓
로봇 구상을 두 갈래로 동시 검토
(완성형 그림 vs 지금 뭘 먼저 확인할지) → 같은 결론: "로봇은 맨 마지막"
↓
국내외 사례를 하루 만에 훑어봄 → "함께 쓰는 구조가 더 오래간다"
↓
다른 AI(Opus)에게 한 번 더 검증 → 과장된 표현 잡아냄
↓
워크스페이스 3곳을 오가며 정리 → 지금 이 글
2025년 9월, 기억이 끊기는 걸 느꼈습니다. GPT '엘라'와 오래 대화하다가, 새 창을 열면 다시 처음부터라는 게 답답했습니다. 여기서 "기억을 밖으로 꺼내 영구 보존하자"는 최초 아이디어가 나왔습니다.
이 아이디어가 자연스럽게 세 갈래로 뻗어나갔습니다. 오픈소스 AI를 직접 구축해서 기억을 소유하는 축, 헤르메스로 밖에서도 워크스페이스를 다루는 축, 그리고 집 안에서 만나는 개인형 로봇 축입니다. 이 글은 이 세 갈래가 만나는 지점을 다룹니다.
로봇 구상은 두 갈래로 동시에 검토해봤습니다. 이 아이디어를 상업성 따지지 않고 이상적으로 완성되면 어떤 모습인지 그려보는 관점과, 지금 당장 뭘 먼저 확인해볼 수 있는지 보는 관점, 이렇게 둘로 나눠서 서로 참고하지 않고 동시에 검토시켜봤습니다. 그랬더니 "로봇은 맨 마지막에 붙이는 게 맞다"는 결론이 서로 다른 이유로 똑같이 나왔습니다. 한쪽은 "기억하고 판단하는 소프트웨어가 먼저 완성돼야 로봇이 의미 있다"는 설계 논리였고, 다른 쪽은 "비슷한 로봇 시도들이 실제로 잘 안 된 사례가 많다"는 현실적인 근거였습니다. 이유는 완전히 달랐는데 도착지는 같았습니다.
국내외 사례도 하루 만에 훑어봤습니다. 네이버·카카오 같은 큰 곳부터 돌봄로봇 서비스들까지 정리해보니, "개인이 직접 돈 내고 쓰는 생활형 AI보다, 여러 사람이 함께 쓰는 구조가 더 오래간다"는 흐름이 보였습니다.
그리고 이 결과를 다른 AI에게 한 번 더 검증시켰습니다. "스마트폰 링크 하나 누른 걸 대단한 결정처럼 부른 건 과장이다", "하루짜리 조사 결과를 너무 단정적으로 말한 대목이 있다" 같은 지적을 받았습니다. 제가 만든 결론에 스스로 취해서 못 봤던 과장을, AI한테 AI 검증을 시키니까 잡아냈습니다.
이 모든 과정이 워크스페이스 세 곳을 오가며 이어달리기하듯 정리됐습니다. 본업 워크스페이스에서 시작한 검토가 기획 관련 워크스페이스로 넘어가 더 깊이 다뤄지고, 그 결과가 다시 이 스터디 워크스페이스로 넘어와 지금 이 글이 됐습니다. 혼자 머릿속으로만 굴렸으면 이렇게 여러 각도에서, 이렇게 빠르게 확인해보기는 어려웠을 것 같습니다.
이번 스마트홈AI 스터디에서는
이번 GPTers 23기 스마트홈AI 스터디에서는 실제로 로봇이나 IoT 장비를 사서 만들기보다는, 지금까지 그려온 이 전체 그림(개인형 AI 비서 → 개인형 AI 로봇 → 업무까지 컨트롤)을 계속 기획해서 완성해나가려고 합니다.
특히 이번 스터디에서 다루는 IoT 기술이 구상 중인 '개인형 AI 로봇'에 그대로 맞닿아 있습니다. 앞서 귀가 시나리오에서 나온 "도착 전에 보일러 켜기", "좋아하는 음악 틀어주기" 같은 부분이 정확히 이번 스터디의 IoT 영역입니다. 조명·온도·음향 기기를 어떻게 연결하고, 어디까지 자동으로 하고 어디부터는 제 확인을 거치게 할지 — 이런 걸 지금 당장 뭐부터 먼저 해봐야 할지, 어떤 부분이 실제로 되는지 스터디 기간 동안 하나씩 확인해보려고 합니다.
이번 스터디를 계기로 개인형 AI 로봇을 더 잘 기획해보려 합니다. 앞으로도 스터디원분들과 이야기 나누면서 이 그림을 계속 다듬어가겠습니다.
