소개
지난주 저는 다양한 웹창을 오가며 기획, 리서치, 글쓰기, 에이전트 테스트를 하는 제 작업 방식에 맞춰 Screen Observer라는 간단한 화면 분석기를 만들어봤습니다.
목표는 제가 컴퓨터에서 어떤 앱을 보고 있고, 어떤 프로젝트와 관련된 작업을 하고 있는지 자동으로 감지해 기록하는 것이었습니다. 단순한 타임트래커가 아니라, 화면의 흐름을 통해 “오늘 내가 어떤 일에 집중했는가?”를 돌아볼 수 있는 인생OS 도구를 만들어보고 싶었습니다.
첫 테스트에서는 앱 전환, 스킵 이벤트, 프로젝트 분류, 일시정지 기록 등이 어느 정도 작동하는 것을 확인했습니다. 그래서 처음에는 “이제 이걸 조금만 더 다듬으면 실제로 쓸 수 있겠다”는 기대가 있었습니다.
그런데 한 주가 지난 지금, 솔직히 말하면 그 이후로 추가 개발은 거의 진행하지 못했습니다.
이번 글은 그래서 완성된 결과물에 대한 글이라기보다, 도구를 만들고도 왜 바로 사용 루틴으로 이어지지 않았는지에 대한 관찰 기록에 가깝습니다.
진행 내용
처음에는 ChatGPT 5.5에게 전체 구조를 설계하게 하고, Codex를 통해 간단한 로컬 대시보드를 구현했습니다.
제가 원했던 방향은 다음과 같았습니다.
마우스 움직임만으로는 캡처하지 않기
앱이나 창이 바뀌는 의미 있는 순간만 감지하기
Safari, Obsidian, ChatGPT, Telegram 같은 앱별 행동 패턴을 다르게 보기
비밀번호, 메신저, 메일 같은 민감한 화면은 기본적으로 제외하기
스크린샷은 저장하지 않고 로컬에서만 처리하기
프로젝트별 작업 흐름을 대시보드로 확인하기
초기 테스트에서는 실제로 몇 가지 결과를 확인할 수 있었습니다.
화면에서 감지된 이벤트 수, 앱별 활동, 프로젝트 분류, 스킵된 이벤트, 일시정지 기록 등이 대시보드에 표시되었습니다. 예를 들어 Safari, Obsidian, ChatGPT 같은 앱들이 감지되었고, 일부 활동은 Life OS / Hermes Agent, Research, Unclassified, Pause 같은 라벨로 기록되었습니다.
이 단계에서 느낀 점은, 예전에 Replit이나 v0 같은 도구로 비슷한 실험을 했을 때보다 Codex를 활용한 구현이 훨씬 구체적으로 느껴졌다는 점입니다. 완성도 높은 앱은 아니었지만, “이런 방향으로 가면 개인용 작업 관찰 도구를 만들 수 있겠다”는 가능성은 확인할 수 있었습니다.
한 주 뒤에 실제로 생긴 일
하지만 테스트 이후 한 주 동안, 저는 이 도구를 더 개선하지 못했습니다.
처음에는 화면 안의 텍스트/이미지 분석을 더 정교하게 만들고, 정확한 시간 추적 기능을 붙이고, 앱별 행동 패턴을 더 세밀하게 정의해보려고 했습니다.
그런데 실제로는 다른 작업들이 우선순위로 밀려들었고, Screen Observer는 “가능성은 확인했지만 아직 루틴으로 들어오지 못한 도구” 상태로 남았습니다.
이 부분이 오히려 이번 실험에서 중요한 배움이었습니다.
도구를 만드는 것과, 그 도구가 내 일상에 들어와 계속 작동하는 것은 다른 문제였습니다.
아이디어가 좋고, 기술적으로 가능하고, 첫 테스트가 성공했다고 해서 바로 습관이 되지는 않았습니다.
특히 이번 경우에는 다음과 같은 장벽이 있었습니다.
맥 권한 설정을 켜고 끄는 과정이 아직 부담스러웠다.
화면을 관찰하는 도구라서 심리적으로 조심스러웠다.
아직 결과물이 “매일 확인하고 싶을 만큼” 명확한 인사이트를 주지는 못했다.
프로젝트 분류 기준이 충분히 정리되지 않았다.
개선할 기능이 많아 보이면서 오히려 다음 액션이 흐려졌다.
즉, 기능의 문제가 아니라 사용 루틴으로 들어오기 전 단계에서 멈춘 것이었습니다.
배운 점
이번 실험에서 가장 크게 배운 점은, 인생OS 도구는 “잘 만들어진 기능”보다 작게 반복되는 사용 흐름이 먼저라는 점입니다.
처음부터 자동 캡처, 앱별 정책, OCR 분석, 프로젝트 분류, 대시보드까지 모두 잘 만들려고 하면 오히려 부담이 커집니다.
지금 제게 필요한 다음 단계는 더 많은 기능이 아니라, 아주 작은 루틴일 수 있습니다.
예를 들면:
하루에 한 번만 Screen Observer를 켜보기
작업 시작 전 오늘의 주요 프로젝트 3개만 입력하기
하루 끝에 대시보드에서 앱별 활동만 확인하기
정확한 시간 추적보다 “오늘 어떤 프로젝트가 앞으로 갔 는가?”만 기록하기
자동 캡처보다 수동 리뷰를 먼저 습관화하기
결국 이 도구가 인생OS가 되려면, 기술적으로 더 똑똑해지는 것보다 먼저 제가 실제로 매일 확인하는 구조 안에 들어와야 한다고 느꼈습니다.
다음 액션
그래서 다음 단계는 거창하게 기능을 추가하는 것이 아니라, 다시 작게 줄여보려고 합니다.
다음 실험 목표는 다음과 같습니다.
Screen Observer를 하루에 한 번만 실행해본다.
자동 캡처보다 “오늘 작업 흐름 리뷰” 기능을 먼저 확인한다.
프로젝트 분류 정확도보다, 내가 느끼는 실제 작업 감각과 얼마나 맞는지 비교한다.
기능 개선은 하나만 한다. 예를 들어 “정확한 시간 추적” 또는 “화면 텍스트 분석” 중 하나만 선택한다.
일주일 뒤, 이 도구를 실제로 다시 켰는지부터 확인한다.
이번 실험은 완성된 결과물을 만든 사례라기보다, 인생OS 도구가 실제 루틴이 되기 위해 필요한 조건을 확인한 사례였습니다.
처음에는 “화면을 분석하는 도구를 만들 수 있을까?”가 질문이었다면, 한 주가 지난 지금의 질문은 조금 바뀌었습니다.
“이 도구를 만든 뒤, 나는 왜 다시 켜지 않았을까?”
“어떤 형태여야 실제로 매일 쓰게 될까?”
“내 작업 흐름을 방해하지 않으면서도 회고에 도움이 되려면 무엇만 남겨야 할까?”
이 질문들이 다음 실험의 출발점이 될 것 같습니다.
