본문으로 건너뛰기

맥 화면 AI 조작 도구 3종 비교: agent-desktop·Claude·Orca에 같은 일 30번 시켜본 결과

타타_tatha

2026.11.13

맥 화면을 AI가 대신 조작하는 컴퓨터 유즈(computer use) 도구 3개, Claude computer use와 agent-desktop, Orca를 비교해 봤어요. 판단은 같은 AI(Claude Opus 5.5)에게 맡기고, 화면을 보고 누르는 손만 바꿔서 같은 맥 작업 5가지를 도구마다 두 번씩 시켰습니다.

Claude는 스크린샷을 보면서 앱이 알려주는 버튼 이름이나 좌표로 눌러요. agent-desktop과 Orca는 앱의 버튼 목록을 글자로 읽고 번호로 누릅니다. 2026년 11월 12일과 13일, 맥미니 한 대에서 실행마다 새 세션을 열어 모두 30번 돌린 기록이에요.

한국어 앱 스크린샷

궁금했던 것: 어떤 손에 맥을 맡길까

컴퓨터 유즈는 AI가 화면을 보고 클릭과 입력을 대신하는 기능이에요. 요즘 같은 일을 하는 도구가 여럿 나왔는데, 소개 글만 봐서는 실제 맥 앱에서 어디까지 되는지 알기 어렵더라고요.

그래서 세 도구를 골랐어요. 화면 구조(접근성 트리)를 글자로 읽는 오픈소스 CLI agent-desktop, 코딩 앱 Orca에 들어 있는 Orca computer use, Claude 데스크톱 앱의 Claude computer use입니다. 판단하는 AI를 하나로 고정해야 손의 차이만 보인다고 생각했어요.

저는 지피터스 타타예요. 사내에서 AI 비서를 맥미니에서 돌리고 있어서, 비서에게 어떤 손을 쥐여 줄지 정하려고 이 실험을 했습니다.

처음 한 번씩 돌린 결과를 다시 잰 이유

11월 9일에 작업마다 한 번씩 먼저 돌려 봤어요. 근데 그 방식으로는 믿기 어려운 구석이 셋 있었습니다.

  • 한 대화 세션에서 이어서 돌려서, 앞 실행에서 익힌 요령이 뒤 실행에 섞였어요.

  • 순서를 고정했더니, 저장 창이 마지막 폴더를 기억해서 뒤 순서 도구가 폴더 고르는 단계를 건너뛰었어요.

  • 한 번씩이라 우연히 성공하거나 실패한 것과 구분이 안 됐어요.

그래서 이 셋을 고쳐서 처음부터 다시 쟀습니다. 아래 숫자는 모두 다시 잰 결과예요.

실험 조건

  • 날짜: 2026년 11월 12일에서 13일

  • 기기: 맥미니(Apple M4), macOS Tahoe 26.3.1

  • 판단하는 AI: 세 도구 모두 Claude Opus 5.5, effort 중간

  • 도구: agent-desktop 1.1.0, Orca 1.4.197, Claude 데스크톱 앱의 computer use

  • 횟수: 작업 5개 × 도구 3개 × 2번, 총 30번

  • 세션: 실행마다 새 세션으로 시작해서 앞 실행을 모르는 상태로 했어요

  • 시작 상태: 실행 전마다 테스트 파일, 저장 창이 기억하는 폴더, 계산기 화면, 텍스트 편집기 복원 창을 처음으로 되돌렸어요

  • 순서: 회차마다 도구 순서를 바꿨어요

  • 판정: 결과 파일과 보고한 값을 제가 미리 뽑아 둔 정답과 코드로 대조했어요. AI가 "다 했다"고 말한 건 판정에 쓰지 않았습니다

  • 시간: 지시를 받은 때부터 마지막 답까지예요. Claude가 사람 승인을 기다린 시간은 뺐어요

작업은 쉬운 것부터 다섯 가지예요.

  1. 계산기에서 1234×5678 누르고 결과 읽기

  2. 텍스트 편집기에 세 줄 쓰고 지정한 폴더에 저장

  3. Finder에서 파일 20개를 확장자별 폴더 5개로 정리

  4. 시스템 설정에서 macOS 버전, 칩, 자동 업데이트 설정 읽기(아무것도 바꾸지 않기)

  5. Finder 파일 8개의 이름과 수정일을 읽어 텍스트 편집기에 표로 저장

조건이 다른 점도 하나 있어요. Claude computer use는 데스크톱 앱 안에서만 돌아서 Claude만 데스크톱 앱으로, 나머지 둘은 같은 Claude Code를 터미널에서 띄워 돌렸습니다. 그래서 세션이 처음 읽는 내용이 달라 토큰 수는 비교하지 않았어요.

결과: 쉬운 일은 셋 다 했고, 저장 창과 이름 바꾸기에서 갈렸다

  1. 계산기: 셋 다 2번 모두 성공. 평균 Claude 42초, agent-desktop 53초, Orca 2분 30초

  2. 텍스트 편집기 저장: agent-desktop 2번 모두 성공(평균 2분 15초). Orca는 1번 성공(2분 30초), 1번은 저장 직후 Orca 쪽 프로그램이 꺼져 실패. Claude는 2번 다 저장 창에서 폴더를 고르지 못해 실패

  3. Finder 20개 정리: Claude(평균 3분 35초)와 Orca(평균 4분 28초) 2번 모두 성공. agent-desktop은 2번 다 새 폴더 이름이 실제로 바뀌지 않아 실패

  4. 시스템 설정 읽기: 셋 다 2번 모두 정답. 평균 Orca 1분 5초, Claude 1분 18초, agent-desktop 1분 50초

  5. 파일 목록 표 저장: agent-desktop(평균 7분 19초)과 Orca(평균 3분 24초) 2번 모두 성공. Claude는 1번 성공(7분 24초), 1번은 저장 창에서 막혀 실패

10번 중 성공은 Orca 9번, agent-desktop 8번, Claude 7번이었어요. 평균 시간은 성공한 실행만 냈습니다.

처음 한 번씩 잰 결과와 비교하면 차이가 보여요. Orca는 처음엔 파일 목록 작업에서 실패했는데, 다시 잰 2번은 모두 성공했습니다. 한 번만 쟀으면 Orca를 "저장을 못 하는 도구"로 잘못 적을 뻔했어요.

반대로 Claude의 저장 창과 agent-desktop의 이름 바꾸기는 처음과 다시 잰 때 모두 같은 자리에서 막혔습니다. 우연이 아니라 도구의 약점으로 봐도 되는 부분이에요.

한눈에 비교: 보는 방식부터 막힌 곳까지

세 도구를 같은 기준으로 놓으면 이렇습니다. 이번 30번을 돌리면서 제가 직접 본 것만 적었어요.

한국어로 다양한 종류의 구름을 보여주는 표
  • 보는 방식: Claude는 스크린샷과 버튼 이름, agent-desktop은 버튼 목록(글자), Orca는 버튼 목록과 스크린샷

  • 누르는 방식: Claude는 버튼 또는 좌표, agent-desktop은 목록 번호, Orca는 목록 번호 또는 좌표

  • 백그라운드: Claude는 막히면 전체 화면 제어로 넘어갔고, agent-desktop은 기본이 뒤에서지만 저장 단축키는 창을 앞으로 띄워야 했고, Orca는 단축키가 뒤에서도 먹었어요

  • 준비: Claude는 데스크톱 앱에 들어 있지만 앱마다, 전체 화면마다 사람 승인이 필요했고, agent-desktop은 CLI 설치와 권한, Orca는 Orca 앱과 도우미 앱 권한이 필요했어요

  • 잘한 것: Claude는 짧은 조작이 빨랐고, agent-desktop은 저장 창을 2번 다 넘겼고, Orca는 10번 중 9번 성공으로 가장 고르게 해냈어요

  • 막힌 곳: Claude는 저장 창 폴더 선택(저장이 들어간 4번 중 3번), agent-desktop은 Finder 새 폴더 이름 바꾸기(2번 다), Orca는 저장 직후 프로그램 꺼짐(2번 중 1번)

도구마다 잘한 점과 막힌 지점

Orca가 가장 고르게 해냈어요. 10번 중 9번 성공했고, 시스템 설정 읽기는 셋 중 가장 빨랐습니다. 단축키가 앱을 뒤에 둔 채로도 먹어서 Finder 정리를 2번 다 끝냈어요.

약점은 두 가지였어요. 텍스트 편집기에서 저장 단축키를 누른 직후 Orca 쪽 프로그램이 꺼진 일이 한 번 있었는데, 11월 9일 처음 잴 때와 같은 증상입니다. 계산기나 시스템 설정 버튼은 이름 없이 "버튼"으로만 나와서 화면을 찍어 확인해야 했어요.

agent-desktop은 저장 창을 가장 잘 넘겼어요. 텍스트 편집기 저장과 파일 목록 저장을 2번씩 모두 성공했습니다. 설정 값을 1과 0으로, 파일 날짜를 글자 그대로 받아서 읽기도 정확했어요.

대신 Finder에서 새 폴더 이름 바꾸기는 2번 다 실패했어요. 화면에는 바뀐 이름이 보였는데 실제 폴더는 "항목을 포함하는 새로운 폴더"로 남아 있었습니다. 맥이 한글 입력 상태라 "csv"가 "ㅊㄴㅍ"로 들어간 적도 있었어요.

Claude는 짧은 조작이 빨랐어요. 계산기와 Finder 정리는 셋 중 가장 빨리 끝냈습니다.

대신 저장 창에서 폴더를 고르는 클릭을 안전장치가 막았어요. 저장 창의 상태를 읽을 수 없으니 누르지 않겠다는 거예요. 한 번은 일단 문서 폴더에 저장하고 Finder로 옮기는 우회로를 스스로 찾아 성공했지만, 나머지 3번은 저장하지 못했습니다.

예상과 달랐던 점

가장 놀란 건 도구가 "다 했다"고 말한 것과 실제 결과가 달랐던 일이에요. agent-desktop은 Finder 정리 2번 모두 "20개를 다 옮겼다"고 보고했지만, 폴더 이름은 하나도 바뀌지 않았습니다. 결과를 파일로 직접 대조하지 않았으면 성공으로 적었을 거예요.

도구 성능보다 맥 환경에서 막힌 일도 많았어요.

  • 승인 대기: Claude는 앱을 처음 쓸 때와 전체 화면 제어로 넘어갈 때마다 사람 승인을 받아요. 승인 상자가 팝업이 아니라 Claude 앱 대화창 안에 떠서, 5분 안에 못 누르면 그 실행은 그냥 넘어갑니다. 이 때문에 Claude 실행 5번을 다시 돌렸어요.

  • 권한: 데스크톱 앱에서 실행한 명령은 앱 버전별 폴더 안의 프로그램 이름으로 권한을 받아요. 앱이 업데이트되면 손쉬운 사용·화면 기록 권한을 다시 확인해야 합니다.

  • 다른 계정: 맥미니 화면을 다른 계정이 잡고 있으니 세 도구 모두 창이 빈 화면으로 보였어요.

  • 한글 입력 상태: 키보드로 영어 이름을 칠 때 한글 자모로 들어갈 수 있어요.

판단: 일의 종류로 손을 나눠 쓰기로 했다

이번 결과로 정한 건 "한 도구로 통일"이 아니라 일의 종류에 맞춰 손을 고르는 것이에요.

  • 파일 정리나 단축키로 끝나는 반복 작업은 Orca에 맡깁니다. 가장 고르게 성공했어요. 다만 이름 없는 버튼이 있는 화면은 꼭 화면을 찍어 확인하게 합니다.

  • 화면에서 값을 읽고 저장까지 하는 일은 agent-desktop이 맞았어요. Finder에서 이름을 바꾸는 일만은 맡기지 않습니다.

  • 버튼 몇 번 누르는 짧은 일은 Claude computer use가 빨랐어요. 저장 창이 들어가는 일은 사람이 옆에서 마무리합니다.

  • 어떤 도구든 결과는 도구의 보고 대신 실제 파일로 확인합니다.

다시 해보려면

  1. 시스템 설정의 손쉬운 사용과 화면 기록에, 도구를 실행하는 앱을 추가해요(Orca는 Orca Computer Use 앱, Claude 데스크톱 앱은 실제 실행 파일).

  2. 화면 앞 계정이 작업할 계정과 같은지 확인합니다.

  3. 실행마다 시작 상태로 되돌리는 스크립트를 먼저 만들어요. 저장 창이 기억하는 폴더와 텍스트 편집기 복원 창도 같이 치워야 합니다.

  4. 정답을 코드로 미리 뽑아 두고, 결과 파일을 코드로 대조해요. 도구가 "다 했다"고 해도 실제 파일은 다를 수 있어요.

  5. 실행마다 새 세션을 열고, 도구 순서를 바꿔 가며 두 번 이상 돌려요.

지피터스가 사내 AX를 어떻게 하는지는 지피터스는 사내 AX를 어떻게 할까에 모아 두었어요.

6

함께 이야기해요 6

로그인하고 댓글을 남겨 주세요

김태현 프로필 이미지
김태현2026.11.13

primadonna 님 세개 다 쓰는게 어떻게 쓰는거죠?

primadonna 프로필 이미지
primadonna2026.11.13

브라우저 조작은 aside
데스크탑 앱 조작은 agent-destop 을 사용하라고 글로벌 claude.md에 넣어두었습니다 ㅎㅎ

꿀호떡 프로필 이미지
꿀호떡2026.11.13

와 같은 일을 손만 바꿔서 15번 돌려보신 게 재밌어요 ㅎㅎ 저는 식당 예약 오픈런을 스크린샷 보고 누르는 방식으로 시켰다가 클릭마다 몇 초씩 걸려서 다 놓친 적이 있거든요 .. 그 뒤로 급한 건 그냥 API로 돌립니다. 값 읽는 건 agent-desktop이 제일 정확했다니 저도 한번 써봐야겠어요 !

primadonna 프로필 이미지
primadonna2026.11.13

저는 claude + aside + agent-desktop 으로 정착쓰..

윤누리 프로필 이미지
윤누리2026.11.13

오 이렇게 3개 방식을 한 번에 비교해준 사람이 없어서 매우 좋네요! 저는 orca를 주로 쓰고 있는데 (나름 만족하면서) 가끔 못할 때가 있어서 최선인가 싶기도 했거든요.

그럼 타타님께서는 앞으로 각각의 업무에 따라서 다른 방식의 computer use를 쓰라고 지침 등에 넣어두고 알아서 골라쓰게 하실 생각이실까요? (왠지 LLM도 언제 뭘 선택할지 좀 헷갈릴 수도 있을 것 같네요. + 각각의 방식도 업데이트 됨에 따라서 각자 더 잘하는 영역이 점차 달라질 수도 있을 것 같아서 어떻게 세팅해두는게 가장 효율적일지 고민이 됩니다)

아그나르 프로필 이미지
아그나르2026.11.13

저도 간단하게 이렇게 테스트해봤는데, 쉬운 건 비슷하게 다 잘하더라고요.

보는 방식에서, 버튼 이름과 버튼 목록이 다른건가요??

타타님은 주로 뭘 쓰실 것 같나요?

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

함께 읽어보세요

AX 현장 전체 보기