소개
최근 여러 웹창을 왔다 갔다 하며 기획, 리서치, 글쓰기, 에이전트 테스트를 동시에 진행하는 시간이 많았습니다.
그러다 보니 하루가 끝났을 때 이런 생각이 자주 들었습니다.
“화면을 계속 바꿔가며 일했는데, 실제로는 어느 일에 시간이 많이 쓰였지?”
그래서 제 작업 스타일에 맞는 인생OS를 만들기 위해, 화면에서 벌어지는 작업 흐름을 관찰하고 프로젝트별로 기록해주는 로컬 화면 분석기를 테스트해봤습니다.
이름은 임시로 Screen Observer라고 잡았습니다.
목표는 거창한 앱을 만드는 것이 아니라, 제가 실제로 쓰 는 컴퓨터 화면의 흐름을 바탕으로 “지금 어떤 프로젝트가 진행되고 있는지”를 자동으로 감지하고 기록하는 작은 실험이었습니다.
진행 방법
먼저 ChatGPT에게 전체 구조를 설계하게 했습니다.
제가 원했던 방향은 단순한 화면 캡처 앱이 아니라, 다음과 같은 방식이었습니다.
마우스가 움직일 때마다 캡처하지 않기
창이 바뀌거나 앱이 바뀌었을 때만 감지하기
Safari, Obsidian, ChatGPT, Telegram 등 앱별 특성을 다르게 보기
비밀번호, 메신저, 메일 같은 민감한 화면은 기본적으로 제외하기
스크린샷은 저장하지 않고, 가능한 로컬에서만 처리하기
프로젝트별 작업 흐름을 대시보드로 보기
ChatGPT가 먼저 이런 기능을 위한 블루프린트와 설계 문서를 만들어줬고,
그 내용을 Markdown 파일로 정리한 뒤 Codex에 넘겼습니다.
이번 테스트에서 확인한 핵심 기능은 다음과 같습니다.
첫 번째는 활성 앱 감지입니다.
현재 어떤 앱을 보고 있는지, 예를 들면 Safari, Obsidian, ChatGPT, System Settings 같은 앱을 감지하도록 했습니다.
두 번째는 앱별 캡처 정책입니다.
모든 앱을 똑같이 다루지 않고, 앱의 성격에 따라 다르게 판단하도록 했습니다.
예를 들어:
Safari는 리서치 앱으로 보고 기록
Obsidian은 기록/정리 앱으로 판단
ChatGPT는 기획/대화 흐름으로 판단
KakaoTalk, Mail 같은 커뮤니케이션 앱은 기본적으로 제외
System Settings, 1Password 같은 민감 앱은 캡처하지 않음
세 번째는 프로젝트 분류입니다.
화면에서 감지된 텍스트나 앱 정보를 바탕으로 작업이 어떤 프로젝트와 관련 있는지 분류하도 록 했습니다.
예를 들어 테스트 화면에서는 Life OS / Hermes Agent, Research, Unclassified, Pause 같은 라벨이 기록되었습니다.
네 번째는 작업 흐름 리뷰입니다.
대시보드에서 오늘 감지된 이벤트 수, 프로젝트별 분류, 앱별 사용 기록, 스킵된 이벤트, 일시정지 기록 등을 확인할 수 있었습니다.
첨부한 테스트 화면에서도 다음과 같은 정보가 기록되었습니다.
총 관찰 이벤트 수
프로젝트별 분류
앱별 감지 횟수
스킵된 이벤트 수
캡처 저장 여부
일시정지 구간
회고 질문 입력 영역
이 부분이 흥미로웠습니다. 단순히 “몇 시간을 썼다”가 아니라, 오늘 내 화면에서 어떤 맥락들이 오갔는지를 보여주는 느낌이 있었기 때문입니다.
맥 권한 설정에서 느낀 점
이 기능을 작동시키기 위해서는 macOS의 권한 설정이 필요했습니다.
특히 Automation, Accessibility, Screen Recording 계열의 권한을 켜야 했습니다.
다만 아직 이 권한들이 정확히 어떤 범위까지 허용하는지 완전히 이해한 상태는 아니었기 때문에, 테스트할 때만 켜고 일반적으로는 꺼두는 방식으로 진행했습니다.
이 부분은 실제 제품이나 지속 사용 도구로 만들려면 반드시 더 신중하게 설계해야 한다고 느꼈습니다.
특히 화면을 읽는 도구는 편리하지만 동시에 매우 민감합니다.
그래서 기본 원칙은 다음처럼 잡는 게 맞다고 생각했습니다.
로컬에서만 작동
스크린샷 원본 저장하지 않기
민감 앱 기본 제외
사용자가 명확히 켰을 때만 작동
언제든 일시정지 가능
어떤 정보가 기록됐는지 사용자가 확인 가능
결과와 배운 점
우선 이번 테스트를 통해 “이런 방식의 인생OS가 실제로 작동할 수 있겠다”는 가능성을 확인했습니다.
특히 좋았던 점은, 제가 직접 기록하지 않아도 화면의 앱 전환과 작업 맥락을 기준으로 어느 정도 활동 로그가 쌓인다는 점이었습니다.
물론 아직 정확도는 더 개선해야 합니다.
현재 단계에서는 다음과 같은 한계가 있습니다.
화면 안의 텍스트 분석이 아직 정교하지 않음
이미지나 디자인 화면의 의미까지 해석하지는 못함
정확한 시간 추적은 더 개선 필요
앱별 행동 패턴을 더 세밀하게 정의해야 함
민감 정보 보호 로직을 더 강화해야 함
프로젝트 분류 기준을 더 구체화해야 함
그래도 이번 실험의 핵심은 “완성된 앱”이 아니라, 내 작업 방식에 맞는 인생OS를 직접 만들어볼 수 있다는 가능성을 확인한 것이었습니다.
다음에 개선할 점
다음 단계에서는 크게 두 가지를 업그레이드해보고 싶습니다.
첫 번째는 화면 안의 텍스트/이미지 분석입니다.
지금은 앱 이름이나 일부 텍스트 기반으로 분류하지만, 앞으로는 화면 안에 보이는 문서, 대화, 디자인 시안, 리서치 페이지를 더 잘 이해하도록 만들고 싶습니다.
두 번째는 정확한 시간 추적입니다.
단순히 이벤트 수를 세는 것이 아니라, 실제로 어느 프로젝트에 얼마만큼 집중했는지 더 정확하게 기록하고 싶습니다.
궁극적으로는 하루가 끝났을 때 이런 질문에 답해주는 도구가 되면 좋겠습니다.
“오늘 어떤 프로젝트가 실제로 앞으로 나아갔는가?”
“어떤 작업이 흐름을 끊었는가?”
“내일 다시 이어가야 할 작업은 무엇인가?”
이번 Screen Observer 실험은 그 방향으로 가기 위한 첫 번째 테스트였습니다.
