브라우저 Use를 녹화했더니, 반복 업무를 대신할 AI 스킬이 만들어졌다

한 줄 요약

3주차에 배운 Browser Use와 Record & Replay로 학원 홈페이지를 조사하는 과정을 녹화하고, 녹화 영상을 AI에게 분석시켜 ‘학원 홈페이지 비교 분석 스킬’을 만든 뒤 자료에 다시 적용해 보았습니다.

소개

학원 홈페이지를 비교하려면 생각보다 많은 작업이 필요합니다.

각 홈페이지를 열어 교육 철학, 커리큘럼, 학습 관리, 평가 방식 등을 찾아야 하고, 이미지로 만들어진 내용은 화면을 직접 확인해야 합니다. 마지막에는 학원별 강조점과 공통점을 일정한 기준으로 정리해야 합니다.

그래서 이번에 배운대로 브라우저 유즈로 각 페이지에 대한 조사과정을 녹화한 다음, AI가 영상을 분석해 반복 가능한 스킬로 만들 수 있는지 궁금해졌습니다. 참고로아직은 Record&Replay는 맥에서만 구현이 되기때문에 윈도우를 쓰는 저는

그래서 다음 순서로 실험했습니다.

Browser Use로 자료 조사 → 화면 녹화 → 영상 분석 → 스킬 제작 → 새로운 자료에 재적용

사용한 도구

• Codex의 Browser Use

• Windows Xbox Game Bar 화면 녹화

• 녹화 영상 분석

• Codex Skill

• 학원 공식 홈페이지

1. Browser Use로 세 학원 홈페이지 조사하기

먼저 정이조영어학원, 아발론교육, 정상어학원 홈페이지를 대상으로 다음과 같이 요청했습니다.

이 세 개의 학원들의 강조점을 표로 정리해줘.
그리고 공통점 3개를 뽑아줘.

Browser Use는 각 학원의 공식 홈페이지를 방문해 메인 화면뿐 아니라 교육 철학, 커리큘럼, 학습 시스템, 평가 및 관리 페이지까지 확인했습니다.

이미지 중심으로 만들어져 텍스트를 바로 읽기 어려운 페이지는 화면을 캡처해 시각적으로 분석했습니다.

그 결과 다음과 같은 특징이 정리됐습니다.

공통점은 다음 세 가지였습니다.

1. 학생 수준에 따른 단계별 커리큘럼

2. 수업 이후 반복학습과 관리 시스템

3. 영어 활용 능력과 학교 시험 성과를 함께 추구

[이미지 1: Browser Use로 세 학원 홈페이지를 조사하는 화면]

2. 조사 과정을 화면으로 녹화하기

Windows에서는 Xbox Game Bar의 Win + Alt + R을 이용해 화면을 녹화했습니다.

약 4분 7초 동안 다음 과정이 영상에 담겼습니다.

• 비교할 홈페이지와 요청사항 입력

• 각 학원 공식 홈페이지 방문

• 메뉴와 세부 페이지 탐색

• 이미지 중심 페이지 확인

• 학원별 강조점 추출

• 비교표와 공통점 작성

녹화 파일은 Windows의 다음 폴더에 저장됐습니다.

C:\Users\사용자명\Videos\Captures

[이미지 2: Windows 캡처 폴더에 저장된 녹화 영상]

3. 녹화 영상을 분석해 스킬 만들기

다음으로 녹화한 MP4 영상을 AI에게 전달하고, 영상 속 작업 과정을 분석해 재사용할 수 있는 스킬로 만들어 달라고 요청했습니다.

단순히 클릭 순서만 따라 하는 스킬보다는, 제가 어떤 기준으로 정보를 찾고 판단했는지가 반영되도록 구성했습니다.

영상 분석을 통해 추출한 핵심 규칙은 다음과 같습니다.

• 공식 홈페이지를 가장 우선적인 자료로 사용한다.

• 메인 페이지만 보지 않고 교육 철학과 커리큘럼 페이지까지 확인한다.

• 이미지 중심 페이지는 스크린샷으로 분석한다.

• 확인한 내용과 출처를 증거 목록으로 관리한다.

• 상시 운영되는 교육 방향과 일시적인 이벤트 배너를 구분한다.

• 학원별 강조점을 비교표로 정리한다.

• 차별점과 공통점 세 가지를 함께 제시한다.

• 근거를 찾지 못한 내용은 추측하지 않고 ‘확인되지 않음’으로 표시한다.

이 규칙을 바탕으로 compare-academy-positioning이라는 스킬을 만들었습니다.

$compare-academy-positioning
세 학원의 여름방학 특강 프로그램을 표로 정리해줘.

[이미지 3: 생성된 학원 홈페이지 강조점 비교 스킬]

4. 만들어진 스킬을 새로운 자료에 적용하기

스킬이 실제로 재사용 가능한지 확인하기 위해 같은 학원들의 ‘여름방학 특강 프로그램’을 다시 조사했습니다.

이번에는 일반적인 교육 방향이 아니라 기간, 대상, 프로그램 구성, 집중 영역 등을 중심으로 분석해야 했습니다.

그 결과 다음과 같이 정리됐습니다.

비교 대상이 바뀌어도 동일하게 공식 자료 우선, 비교 기준 설정, 표 작성, 공통점 도출이라는 작업 방식이 유지됐습니다.

추가로 EiE 홈페이지에도 비슷한 조사 방식을 적용해 최신 업데이트를 확인했습니다. 공지사항의 게시 날짜를 기준으로 교사 교육, 원어민 교사 웨비나, 영어 영상 챌린지, AI CLASS 아바타 출시 등의 내용을 시간순으로 정리했습니다.

[이미지 4: 새로운 홈페이지의 최신 업데이트 분석 결과]

결과

이번 실험을 통해 얻은 결과는 다음과 같습니다.

• 약 4분 분량의 실제 작업 영상에서 반복 가능한 조사 절차를 추출했습니다.

• 세 개의 학원 홈페이지를 분석했던 일회성 작업을 하나의 스킬로 전환했습니다.

• 여름방학 특강과 EiE 최신 업데이트처럼 다른 주제에도 같은 분석 구조를 적용했습니다.

• 결과물의 표 구성과 공통점 도출 방식이 일정하게 유지됐습니다.

• 홈페이지가 이미지 중심이거나 구성이 달라도 대응할 수 있는 규칙을 만들었습니다.

<시행착오와 배운 점>

녹화 영상에는 클릭은 보이지만 판단 기준은 보이지 않는다

영상만 분석하면 ‘어디를 클릭했는지’는 알 수 있지만, ‘왜 그 페이지를 선택했는지’까지 정확하게 알기는 어렵습니다.

따라서 스킬을 만들 때는 클릭 순서 외에도 다음과 같은 판단 기준을 명시해야 했습니다.

• 공식 자료인가?

• 현재 운영 중인 정보인가?

• 학원의 지속적인 교육 방향인가?

• 단기 이벤트나 광고 문구인가?

• 비교표에 넣을 근거가 충분한가?

최신 정보와 상시 정보를 구분해야 한다

학원의 교육 철학과 여름 특강은 같은 홈페이지에 있지만 정보의 성격이 다릅니다.

교육 철학은 지속적인 포지셔닝에 해당하지만, 특강과 이벤트는 기간과 게시 날짜를 반드시 확인해야 합니다. 그래서 최신 정보 조사에는 날짜 확인 단계를 별도로 추가했습니다.

좋은 스킬은 동작이 아니라 판단을 기록한다

이번 과정을 통해 가장 크게 배운 점은 이것입니다.

반복 업무를 스킬로 만들려면 클릭 동작보다 자료를 선택하고 비교하는 판단 기준을 기록해야 한다.

화면 녹화는 작업을 빠르게 설명하는 출발점이었고, 실제 재사용성을 만든 것은 영상 속 행동을 조사 원칙과 출력 규칙으로 바꾸는 과정이었습니다.

마무리

이번 실험은 제가 직접 수행한 브라우저 조사를 녹화하고, 그 영상을 AI가 분석해 재사용 가능한 업무 스킬로 변환한 사례입니다.

한 번의 결과물을 얻는 데서 끝나지 않고, 내가 일하는 방법 자체를 AI에게 학습시킬 수 있다는 점이 흥미로웠습니다.

앞으로는 경쟁사 조사, 학교·교육기관 비교, 상품 가격 조사, 지원사업 공고 확인, 최신 뉴스 모니터링 같은 업무에도 같은 방식을 적용해 볼 수 있을 것 같습니다.