소개
이번 주는 휴가 일정이 있어 하나의 큰 프로젝트를 완성하기보다는, 그동안 궁금했던 기능을 직접 사용해 보고 기존 자동화 프로그램을 조금씩 다듬는 데 집중했습니다.
이번 주에 해본 작업은 다음과 같습니다.
Browser Use 기능 사용해 보기
Record & Replay를 활용해 작업사양서 작성해 보기
기존 생산실적 자동입력 프로그램의 UI 개선하기
카드뉴스 자동화에서 그림 제작만 Gemini에 맡기도록 수정하기
Remote 기능으로 외부에서 카드뉴스 제작 요청해 보기
사용한 주요 도구는 Codex와 Gemini입니다.
진행 방법
1. Browser Use 기능 사용해 보기
먼저 Codex의 Browser Use 기능을 가볍게 사용해 봤습니다.
기존에는 웹페이지에서 필요한 정보를 직접 찾고 화면을 하나씩 확인해야 했지만, Browser Use를 활용하면 AI가 브라우저 화면을 인식하고 사용자의 요청에 맞춰 탐색하거나 조작할 수 있습니다.
이번 주에는 본격적인 업무 자동화에 적용하기보다는, 브라우저 화면을 어느 정도 인식하고 작업할 수 있는지 기능을 확인하는 수준으로 사용했습니다.
아직 실제 업무에 완전히 적용한 단계는 아니지만, 앞으로 웹 기반 업무 시스템에서 반복적으로 조회하거나 입력하는 작업에 활용할 수 있을지 더 테스트해 볼 예정입니다.
2. Record & Replay를 활용해 작업사양서 작성해 보기
두 번째로 해본 것은 Record & Replay를 활용한 작업사양서 작성입니다.
기존 작업은 원본 조립표를 확인한 뒤 필요한 부품번호와 수량을 찾아 다른 작업사양서 Excel 파일에 옮겨 적는 방식입니다. 제품 유형에 따라 입력 위치와 규칙이 달라 반복 작업이 많고, 누락이나 오입력이 발생할 가능성도 있습니다.
이번에는 사람이 Excel에서 작업하는 과정을 화면 녹화로 남긴 뒤, Codex가 클릭과 입력 순서를 분석하도록 했습니다. 또한 원본 조립표와 입력 대상 Excel 복사본을 함께 제공해, 화면에서 수행한 동작과 실제 셀의 구조를 대조하도록 했습니다.
한국어 텍스트가 있는 검은 화면
화면 녹화에서 실제 클릭과 입력 순서를 확인하고, 원본 조립표와 대상 Excel의 구조를 함께 분석하도록 했습니다.
이후 분석한 작업 방식과 제품별 입력 규칙을 재사용할 수 있도록 전용 스킬 형태로 정리했습니다.
활용한 요청은 아래와 같습니다. 회사 내부 경로와 일부 제품 정보는 공개용으로 수정했습니다.
Record & Replay로 녹화한 작업 영상을 확인해 줘.
함께 제공한 원본 조립표와 작업사양서 Excel 복사본을 비교해서
화면에서 어떤 값을 확인하고 어느 위치에 입력하는지 분석해 줘.
제품 유형별 입력 규칙을 정리하고,
같은 방식으로 반복 작업할 수 있는 개인 스킬을 만들어 줘.
원본 파일은 수정하지 말고 복사본만 사용해 줘.스킬을 만든 뒤에는 실제로 제품 한 건을 지정해 작업사양서에 등록하도록 요청했습니다.
$register-valve-work-spec
원본 조립표:
[원본 조립표 Excel 파일]
등록 대상:
[작업사양서 Excel 복사본]
지정한 제품번호 한 건을 등록해 줘.
대상 Excel은 복사본이고 자동 저장은 꺼져 있어.
입력이 끝나면 저장하지 말고 화면에서 멈춰.제품번호 한 건을 지정하고, 작업이 끝난 뒤 자동 저장하지 않고 검토 화면에서 멈추도록 요청했습니다.
왼쪽 원본 조립표의 부품 정보와 오른쪽 작업사양서의 입력 위치를 비교하며 옮기는 작업입니다. 공개가 어려운 내부 정보는 가렸습니다.
이번 주에는 특정 제품 유형 한 건을 대상으로 시험했습니다. 제품마다 사양서 구조와 입력 규칙이 다르기 때문에, 앞으로 다른 제품 유형도 하나씩 추가하며 적용 범위를 넓혀야 합니다.
3. 생산실적 자동입력 프로그램 다듬기
이전에 Codex를 활용해 만든 생산실적 자동입력 프로그램도 조금 더 다듬었습니다.
이 프로그램은 일일 생산계획 파일을 읽어 필요한 작업을 선택하고, ERP에 생산실적을 입력하거나 식별표를 출력하는 과정을 보조하기 위해 만든 프로그램입니다.
기능은 어느 정도 구현되어 있었지만, 실제 사용할 때 한눈에 알아보기 어려운 부분이 있어 이번에는 UI를 중심으로 개선했습니다.
주요 개선 방향은 다음과 같습니다.
작업 모드와 현재 실행 상태를 쉽게 확인할 수 있도록 배치
일일계획을 표 형태로 확인하고 필요한 행을 선택할 수 있도록 구성
저장하지 않는 DRY-RUN 모드를 화면에서 명확하게 표시
실행 로그와 작업 상태를 한 화면에서 확인하도록 정리
사용자가 자주 사용하는 버튼을 구분하기 쉽게 배치
Codex에는 기존 기능을 유지하면서 사용자가 작업 흐름을 쉽게 이해할 수 있도록 화면을 정리해 달라고 요청했습니다.
기존 생산실적 자동입력 기능은 유지하면서 UI를 개선해 줘.
작업 모드, 사용자 설정, 일일계획 목록, 실행 로그와 시작 버튼을
한 화면에서 쉽게 확인할 수 있도록 정리해 줘.
특히 실제 저장 모드와 DRY-RUN 모드가 혼동되지 않도록
현재 실행 상태를 눈에 잘 띄게 표시해 줘.
일일계획 조회부터 실적 입력과 식별표 출력까지 이어지는 프로그램의 UI를 정리했습니다. 화면은 실제 저장을 하지 않는 DRY-RUN 상태입니다.
이번 주에는 새로운 기능을 크게 추가하기보다는, 기존 프로그램을 실제 업무에서 조금 더 편하게 사용할 수 있도록 화면을 정돈하는 데 집중했습니다.
4. 카드뉴스 자동화에서 그림 제작만 Gemini에 맡기기
기존에 만들어 둔 TBM 안전 카드뉴스 자동화 과정도 일부 수정했습니다.
기존 자동화는 Codex가 공식 사고사례 확인, 문안 작성, 그림 준비, PowerPoint 제작과 최종 검수까지 이어서 처리하는 방식이었습니다.
이번에는 역할을 조금 나눠 다음과 같은 흐름으로 변경했습니다.
Codex가 공식 사고사례를 조사
Codex가 카드뉴스 문안과 Gemini 전달용 그림 프롬프트 작성
Gemini가 그림만 제작
제작한 그림을 지정된 폴더에 저장
Codex가 그림을 받아 PowerPoint 제작과 최종 검수 진행
핵심 요청 내용은 다음과 같습니다.
TBM 카드뉴스 자동화에서 그림 생성 방식만 변경해 줘.
공식 사고사례 조사, 문안 작성, PowerPoint 제작과 최종 검수는
기존처럼 Codex가 담당해 줘.
그림은 Codex에서 직접 생성하지 말고,
Gemini에 전달할 수 있는 장별 그림 프롬프트를 작성한 뒤 멈춰 줘.
내가 Gemini에서 그림을 만든 후 지정된 폴더에 넣었다고 알리면
그때 PowerPoint 제작과 최종 검수를 이어서 진행해 줘.
컴퓨터 화면에 한국어 스크린샷
Codex가 공식 사고사례와 확정 문안을 바탕으로 Gemini에 전달할 그림 프롬프트를 작성하도록 변경했습니다.
이렇게 역할을 나누니 Codex는 자료 조사와 전체 작업 흐름을 관리하고, Gemini는 그림 제작에 집중하도록 구성할 수 있었습니다.
5. Remote 기능으로 카드뉴스 제작 요청해 보기
마지막으로 Remote 기능을 활용해 외부에서 카드뉴스 제작을 요청해 봤습니다.
컴퓨터 앞에서 직접 작업을 시작하지 않고, 휴대전화에서 간단히 “오늘자 카드뉴스 만들어줘”라고 요청했습니다. 연결된 PC에서는 기존에 만들어 둔 TBM 카드뉴스 자동화 절차에 따라 작업이 진행됐습니다.
사용한 요청은 매우 간단했습니다.
오늘자 카드뉴스 만들어줘.자동화에 필요한 작업 규칙과 파일 구조를 미리 정리해 두었기 때문에, 짧은 요청만으로도 주제 선정, 공식자료 조사, 2장짜리 카드뉴스 제작과 최종 검수까지 진행됐습니다.
한국어로 된 문자 메시지의 스크린샷
휴대전화에서 작업을 요청했고, 약 18분 뒤 카드뉴스 제작과 최종 검수가 완료됐다는 결과를 확인했습니다.
최종 결과는 관리자 확인 대기 상태로 멈추도록 설정했습니다. AI가 작업을 완료하더라도 승인 전에는 자동으로 배포하지 않도록 한 것입니다.
결과와 배운 점
이번 주는 휴가 일정으로 인해 많은 작업을 진행하지는 못했습니다. 대신 새로운 기능을 가볍게 시험하고, 기존에 만들어 둔 자동화 작업을 보완하는 시간을 가졌습니다.
이번 주에 확인한 내용은 다음과 같습니다.
Browser Use를 실제 업무에 활용할 가능성 확인
Record & Replay를 이용해 사람의 Excel 작업 과정을 분석
녹화된 작업을 반복 실행할 수 있 는 전용 스킬로 정리
생산실적 자동입력 프로그램의 UI 개선
Codex와 Gemini의 역할을 나눠 카드뉴스 제작 흐름 수정
Remote 기능을 이용해 휴대전화에서 PC 작업 요청
가장 크게 배운 점은 자동화를 만들 때 모든 작업을 하나의 AI에 맡길 필요는 없다는 것입니다.
Codex는 파일 확인, 작업 규칙 정리, 프로그램 수정과 전체 흐름 관리에 활용하고, Gemini는 카드뉴스에 들어갈 그림 제작에 활용하니 각 도구의 장점을 나눠 사용할 수 있었습니다.
또한 짧은 요청만으로 작업하려면 사전에 작업 규칙과 중단 조건을 충분히 정리해 두어야 한다는 점도 다시 확인했습니다. 특히 Excel이나 ERP처럼 실제 업무 데이터에 영향을 줄 수 있는 작업은 다음과 같은 안전장치가 필요했습니다.
원본이 아닌 복사본에서 먼저 테스트하기
자동 저장을 끄고 입력 후 화면에서 멈추기
실제 저장 전 DRY-RUN으로 확인하기
관리자 승인 전에는 결과물을 배포하지 않기
Record & Replay 작업은 아직 한 제품 유형을 대상으로 시험한 단계입니다. 다른 제품 유형은 사양서 구조와 입력 규칙이 다르기 때문에, 바로 전체 자동화를 시도하기보다 유형별로 한 건씩 검증하며 범위를 넓힐 계획입니다.
앞으로는 Browser Use를 실제 반복 업무에 적용해 보고, Remote 기능으로 요청할 수 있는 작업의 종류도 조금씩 늘려 보려고 합니다. 이번 주는 큰 결과물을 만드는 주간이라기보다, 앞으로 사용할 기능들을 하나씩 시험하고 작업 흐름을 정리한 한 주였습니다.
