이번 3주차에는 Codex가 단순히 코드를 작성해 주는 도구를 넘어 실제 컴퓨터와 브라우저를 직접 사용하고, 내가 하는 작업을 보고 반복할 수 있는 도구라는 점을 확인해 보고 싶었다.
그동안 Codex를 사용할 때는 주로 파일을 읽거나 코드를 작성하도록 요청하는 방식으로 생각했다. 그런데 이번 강의에서는 Computer Use, Browser, Record & Replay, Remote 등 Codex가 작업하는 범위를 넓혀 주는 여러 기능 이 소개되었다. 특히 내가 직접 하던 작업을 AI가 대신 수행하거나, 내가 하는 과정을 보여준 뒤 이를 반복 가능한 작업으로 만들 수 있다는 점이 흥미로웠다.
그래서 이번에는 별도의 거창한 결과물을 만드는 것보다 강의에서 소개된 기능들을 하나씩 직접 따라 해보면서 각각의 기능이 실제로 어떻게 동작하는지 확인하는 데 초점을 두었다.
진행 방법
이번 실습에서는 Computer Use, Browser, AppShot, Record & Replay, Remote 기능을 차례대로 사용해 보았다. 강의자료에는 /, @, $, MCP의 역할 차이도 정리되어 있어 Codex에서 각각의 기능이 어떤 방식으로 호출되는지도 함께 확인했다. /는 Codex의 명령, @는 작업할 대상이나 연결 앱을 지정하는 방식, $는 설치된 스킬이나 워크플로를 호출하는 방식으로 이해할 수 있었다.
Computer Use로 실제 컴퓨터 조작해 보기
가장 먼저 Computer Use를 이용해 Codex가 내 컴퓨터의 프로그램을 직접 실행하고 조작하는 과정을 확인했다.
단순히 "카카오톡을 어떻게 사용하지?"라고 물어보는 것이 아니라, 실제 카카오톡을 열고 특정 사람에게 메시지를 보내도록 요청했다.
사용한 프롬프트
Computer Use 내 컴퓨터에서 카카오톡 열어서 00에게 "0000"라고 메시지 보내줘.
Codex는 카카오톡을 실행하고 해당 대화창을 찾아 메시지를 보냈으며, 이후 실제 메시지가 반영된 것까지 확인했다.
이 과정에서 가장 인상적이었던 부분은 AI가 사용 방법을 설명하는 것과 실제로 컴퓨터를 조작하는 것은 전혀 다른 경험이라는 점이었다. 사용자가 하던 클릭과 입력 작업 자체를 Codex에게 맡길 수 있다는 의미가 조금 더 구체적으로 다가왔다.
Browser로 여러 사이트의 정보 비교하기
다음으로 Browser 기능을 사용해 보았다.
단순한 웹 검색이 아니라 내가 지정한 두 대학의 입학 관련 사이트를 각각 방문하고, 필요한 정보를 확인한 뒤 비교표까지 만들어 달라고 요청했다.
사용한 프롬프트
나는 00과를 지원하려고 하고, 내신은 평균 3등급정도야.
Browser 다음의 2개 사이트 방문해서 입시전형에 대해 비교하는 표를 만들어줘.1번사이트: https://admission.csu.ac.kr/?m1=page&menu_id=552
2번사이트: https://www.puts.ac.kr/ipsi/db/db_admission_v1/
Codex는 두 사이트의 내용을 확인하면서 전형 요소, 지원 자격, 면접 여부, 일정 등을 기준으로 내용을 정리했다.
직접 여러 사이트를 열어 내용을 읽고 다시 표로 옮기는 작업은 생각보다 시간이 많이 걸린다. Browser를 활용하면 이런 탐색과 정리 작업을 한 번의 요청으로 연결할 수 있다는 점을 확인할 수 있었다.
다만 실제 입시와 같이 중요한 정보를 다룰 때는 AI가 정리해 준 결과만 믿기보다는 모집요강 원문까지 다시 확인해야 한다는 점도 함께 느꼈다.
AppShot으로 작업 화면 캡처하기
강의 중에는 AppShot을 활용해 현재 화면을 빠르게 캡처하는 방법도 확인했다.
Mac에서는 양쪽 Command 키를 이용해 캡처할 수 있었는데, Codex를 이용하면서 과정 자체를 기록하거나 사례글을 작성할 때 유용한 기능이라고 생각했다.
이번 사례글에 남긴 화면들도 단순히 최종 결과만 보여주는 것이 아니라 "무엇을 요청했고, Codex가 어떤 과정을 거쳤는가"를 보여주는 것이 중요하다는 점을 다시 느꼈다.
Record & Replay로 내가 하는 일을 Codex에게 보여주기
이번 실습에서 가장 관심이 갔던 기능은 Record & Replay였다.
강의에서는 "Skill을 손이 아니라 몸으로 가르치기"라는 표현으로 소개되었는데, 긴 설명을 작성하는 대신 내가 실제로 작업하는 모습을 기록하고 이를 반복 가능한 작업으로 만드는 방식이었다.
Record & Replay를 실행하자 다음과 같이 안내되었다.
녹화를 시작했어요. 평소처럼 작업해 주세요.
최대 녹화 시간: 30분
끝나면 여기에서 "녹화 끝"이라고 알려주세요.
취소했다면 "녹화 취소"라고 알려주세요.
실습에서는 웹페이지에 로그인한 후 이번 주 정산 자료를 CSV로 내려받고, 다운로드한 파일을 정해진 폴더로 이동하는 과정을 직접 수행했다.
작업을 마치고 녹화를 종료하자 Codex는 내가 수행한 작업 흐름을 분석했다. 화면에서 확인된 흐름은 대략 다음과 같았다.
정산 포털 로그인 → 이번 주 CSV 다운로드 → 다운로드 폴더의 파일 확인 → 실습 폴더로 이동
흥미로운 점은 Codex가 단순히 화면을 녹화하는 데 그치지 않고, 이 작업을 다시 실행할 수 있는 스킬로 만들 수 있는지 분석했다는 것이다.
즉, "이 작업은 이렇게 해"라고 모든 절차를 글로 설명하는 방식과 달리 실제 수행 과정을 보여주는 것만으로 반복 업무를 정의할 수 있는 가능성을 확인했다.
/,@,$, MCP의 차이 이해하기
이번에 기능들을 사용하면서 그동안 조금 혼동했던 /, @, $, MCP의 차이도 정리할 수 있었다.
/는 /help, /status, /compact처럼 Codex 자체의 기능이나 세션을 제어하는 명령에 가깝다.
@는 파일이나 앱 등 "무엇을 대상으로 작업할 것인지"를 지정하는 역할에 가깝다.
$는 이미 만들어져 있는 Skill이나 Workflow를 명시적으로 사용하는 방식이다.
MCP는 사용자가 특정 기호를 입력해 실행한다기보다 필요한 작업과 권한에 따라 Codex가 연결된 외부 도구를 활용하는 구조라고 이해했다.
처음에는 각각이 모두 비슷한 기능을 실행하는 명령처럼 보였는데, 직접 사용해 보니 "명령", "대상", "작업 절차", "외부 도구 연결"이라는 서로 다른 층위의 개념이라는 점이 조금 더 명확해졌다.
Remote로 다른 기기에서 작업 이어가기
마지막으로 Remote 기능도 살펴보았다. 강의에서는 데스크톱에서 시작한 작업을 퇴근길이나 다른 기기에서 같은 스레드로 이어갈 수 있는 기능으로 소개되었다. 문서에도 Remote 실습이 별도의 항목으로 기록되어 있다.
실제로 Mac의 연결 설정에서 모바일 기기 연결을 위한 화면까지 확인했다.
Codex를 로컬 컴퓨터에서만 사용하는 도구라고 생각했는데, 작업 상태를 연결해 두면 장소나 기기가 바뀌더라도 기존 작업의 맥락을 이어갈 수 있다는 점이 흥미로웠다.
결과와 배운 점
이번 3주차 실습을 하면서 Codex를 보는 관점이 조금 달라졌다.
기존에는 Codex를 "코드를 작성하거나 파일을 수정해 주는 AI" 정도로 생각했다면, 이번에는 컴퓨터를 직접 조작하고, 브라우저에서 필요한 정보를 찾고, 내가 수행하는 작업을 관찰하고, 반복할 수 있는 작업으로 만드는 도구라는 점을 직접 확인할 수 있었다.
특히 인상적이었던 것은 Record & Replay였다. 반복 업무를 자동화하려고 하면 보통 먼저 절차를 잘 정리해서 AI에게 설명해야 한다고 생각했는데, 내가 실제로 작업하는 모습을 보여주는 것도 하나의 방법이 될 수 있었다. 내가 설명하지 못한 세부적인 클 릭이나 작업 순서까지 기록할 수 있다는 점에서 활용 가능성이 커 보였다.
동시에 "한 번 실행되었다"와 "안정적으로 자동화할 수 있다"는 것은 다른 문제라는 생각도 들었다. 로그인 상태나 파일 저장 위치, 웹사이트 구조처럼 작업 환경이 조금만 달라져도 결과가 달라질 수 있기 때문이다. 따라서 바로 복잡한 업무 전체를 자동화하기보다, 자주 반복하면서도 절차가 비교적 명확한 작은 업무부터 적용해 보는 것이 좋겠다고 생각했다.
Browser 실습에서도 비슷한 점을 느꼈다. 여러 사이트를 찾아 비교하는 작업은 상당히 편리했지만, 입시 정보처럼 정확성이 중요한 내용은 최종적으로 공식 자료를 다시 확인할 필요가 있었다. AI에게 탐색과 초벌 정리를 맡기고 사람은 최종 확인과 판단을 하는 방식이 적절해 보였다.
이번 주에는 여러 기능을 폭넓게 경험해 보는 데 의미가 있었다면, 앞으로는 이 중 하나를 실제 반복 업무에 적용해 보고 싶다. 특히 내가 평소 반복해서 수행하는 업무 하나를 선정한 뒤 Record & Replay로 작업 과정을 기록하고, 실제로 재사용 가능한 Skill까지 만들어 보는 것이 다음 단계가 될 것 같다.
도움 받은 글
3주차 코덱스입문스터디 방장 강의자료
