본문으로 건너뛰기

로그인된 브라우저 작업을 클릭이 아니라 검증 가능한 상태기계로 만든 방법

강진태

2026.08.17

# 로그인된 브라우저 작업을 클릭이 아니라 검증 가능한 상태기계로 만든 방법

## 한줄 요약
기존 게시 상태기계를 기준선으로 삼고, 로그인 브라우저에서 생성 이미지의 원본 다운로드와 리치텍스트의 의미 구조 검증을 같은 증거 계약에 연결한 차이만 설명합니다.

## 바쁘시면 이것만 보세요
- 브라우저에서 보이는 미리보기, 게시 버튼 클릭, 로딩 스피너는 산출물 증거가 아니다.
- 한 항목씩 `입력→사전 확인→실행 한 번→결과 재확인→영수증`으로 처리한다.
- 상태가 불명확하면 재클릭하지 말고 새 화면과 기존 결과부터 확인한다.

## 이런 분께 추천합니다
- 로그인된 웹 서비스만 이용할 수 있어 브라우저 자동화가 필요한 분
- 리치텍스트 서식 손실이나 중복 게시를 피하고 싶은 분
- 생성 이미지를 받았다고 했는데 실제 파일이 없었던 경험이 있는 분

## 제작 배경
브라우저 작업은 눈에 보이기 때문에 오히려 완료를 쉽게 착각한다. 프롬프트가 입력돼도 전송되지 않을 수 있고, 이미지가 화면에 보여도 원본 파일이 저장된 것은 아니다. 게시 버튼을 눌렀지만 전환이 느리면 두 번 눌러 중복 글을 만들 수 있다. 제목과 HTML을 동시에 준비하면 공유 클립보드가 덮여 엉뚱한 내용이 들어갈 수도 있다. 이런 실패는 “다음 상태의 증거”를 분명히 하면 줄일 수 있었다.

## 어떤 스킬인가
`browser-ai-image-generation`은 로그인 세션에서 이미지를 만들되 웹 미리보기가 아니라 원본 다운로드 파일을 산출물로 정의한다. 파일 형식·크기·치수를 확인하고 최종 로컬 파일을 직접 본다. 세 publishing 스킬은 큐 항목마다 작성 중, 게시 준비, 공개 검증, 영수증 기록, 완료 상태를 둔다. 리치텍스트의 제목·본문·분류·태그를 게시 전에 확인하고, 공개 상세 페이지에서 구조가 살아 있는지 다시 본다.

## 어떻게 만들었나
먼저 “클릭됨”과 “효과가 확인됨”을 분리했다. 입력 도구가 `unverifiable`을 반환하면 같은 동작을 반복하지 않고 새 캡처로 상태를 읽도록 했다. 접근성 요소 번호는 캡처마다 바뀔 수 있어 항상 최신 화면에만 묶었다. 게시 배치는 안정 키와 영수증을 먼저 읽고 미완료 한 건만 처리한다. 제목과 HTML은 병렬로 만들지 않고 제목 붙여넣기 확인 뒤 HTML을 준비한다. 이미지는 서비스의 저장 기능으로 원본을 받고, 새 파일을 안정된 이름으로 옮긴 뒤 열어 본다.

## 어떻게 사용하는가
1. 작업 큐와 기존 영수증을 읽어 중복 가능성을 제거한다.
2. 현재 URL, 서비스, 대상 항목을 새 캡처에서 확인한다.
3. 필드를 의존 순서대로 채우고 화면에서 값과 구조를 확인한다.
4. 생성·게시 동작은 한 번만 수행하고 로딩 중에는 기다린다.
5. 결과가 모호하면 기존 대화, 상세 페이지, 동일 제목 검색을 먼저 확인한다.
6. 이미지는 로컬 원본 파일, 글은 공개 상세 URL에서 요구 특성을 검증한다.
7. 검증 범위를 영수증에 기록한 뒤 다음 항목으로 이동한다.

## 검증과 시행착오
리치텍스트에 Markdown 평문을 붙이면 제목·목록·코드블록이 납작해졌다. 그래서 필요한 의미 요소만 담은 HTML 클립보드를 사용하고 게시 전후 모두 구조를 확인했다. 태그 검색어가 입력된 것과 태그 chip이 선택된 것도 달랐다. 이미지 생성 화면이 홈으로 돌아와도 새 대화가 기록돼 있을 수 있어 실패로 단정하기 전 이력을 다시 열게 했다. 공통 교훈은 화면 전환을 결과로 추측하지 말고 결과 표면을 다시 읽는 것이다.

## 효과 / Before-After
**Before:** 입력 성공, 클릭 성공, 미리보기 표시를 곧바로 완료로 세었다.  
**After:** 각 단계에 증거가 없으면 멈추고, 실제 파일 또는 상세 페이지와 영수증이 있어야 완료가 된다. 자동화 범위를 늘리기보다 중복·서식 손실·허위 완료를 구분하는 능력이 생겼다.

## 한계와 중단 조건
로그인·결제·권한 동의 화면은 대신 처리하지 않는다. 기존 로그인 세션이 없거나 원본 다운로드를 찾을 수 없으면 이미지 완료를 선언하지 않는다. 게시 승인, 대상, 공개 범위가 현재형으로 확인되지 않으면 게시하지 않는다. 화면 상태를 읽을 수 없거나 결과가 모호하면 재시도보다 `HOLD`를 택한다.

## 다른 업무에 적용하는 법
지원 티켓 제출, CMS 입력, 채용 폼처럼 브라우저 양식 기반 업무에도 적용할 수 있다. 안정 키, 필드 사전 확인, 제출 한 번, 결과 페이지 read-back, 영수증이라는 최소 상태기계면 충분하다.

## 재사용 체크리스트
- [ ] 기존 결과와 영수증을 먼저 확인했는가
- [ ] 최신 화면에서 대상과 필드를 확인했는가
- [ ] 공유 클립보드 작업을 순차 처리했는가
- [ ] 실행 버튼을 한 번만 눌렀는가
- [ ] 결과 파일 또는 상세 페이지를 직접 검증했는가
- [ ] 중복 없는 영수증을 남겼는가
4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.21

태그 검색어를 입력한 상태와 실제 태그 항목이 선택된 상태를 다르게 본 대목이 브라우저 작업의 함정을 잘 보여줬어요. 리치텍스트도 글자가 보이는지만 보지 않고 제목·목록·코드 블록의 의미 구조가 게시 전후에 살아 있는지 확인했네요.

이미지 생성 화면이 홈으로 돌아왔을 때 곧바로 실패로 단정하지 않고 기존 대화 기록을 다시 여는 절차도 좋습니다. 화면 전환이 모호한 순간에 같은 동작을 반복하는 대신 다른 화면에서 결과가 생겼는지 다시 확인해, 중복 실행과 잘못된 실패 판정을 함께 막아요.

항목마다 안정적인 키와 기존 처리 기록을 먼저 확인해 미완료 한 건만 처리한 점까지 더해져, 화면 자동화가 단순 클릭 순서가 아니라 상태 확인의 연속이 됐습니다. 서식과 선택 상태처럼 눈으로는 비슷해 보이는 차이를 끝까지 검증한 과정이 특히 실전적이었어요.

박준_JoonLab 프로필 이미지
박준_JoonLab2026.08.19

오, '입력->사전 확인->실행 한 번->결과 재확인->영수증'으로 한 항목씩 쪼갠 지점이 정말 좋네요. 특히 입력 도구가 'unverifiable'을 돌려줬을 때 같은 동작을 반복하지 않고 새 캡처로 상태부터 다시 읽게 한 부분이, 브라우저 자동화가 가장 자주 깨지는 자리를 정확히 막아주고 있는 것 같습니다.

이 사례의 핵심은 결국 '완료의 증거를 어디에 두는가'라고 생각하는데요, 여기서 더 나아가 영수증에 어느 엔진으로 검증했는지도 한 칸 남겨두시면 좋을 것 같습니다. 예를 들어, 저는 WKWebView 기반 브라우저에서 파일을 받아야 하는 작업을 하다가 엔진 자체가 다운로드를 지원하지 않는다는 걸 뒤늦게 알고 한참 헛돌았고, 그 뒤로는 다운로드가 필요한 작업만 다른 엔진으로 라우팅하는 규칙을 따로 뒀거든요.

덧붙이면 '로딩 중에는 기다린다'도 시간이 아니라 특정 selector나 텍스트가 보일 때까지로 조건화해두시면 좋을 것 같습니다.

사례 공유 감사드립니다:)

갓생오리 프로필 이미지
갓생오리2026.08.19

미리보기와 로딩 스피너는 산출물 증거가 아니라는 말, 브라우저 자동화 해본 사람은 다 공감할 겁니다.
전환이 느려서 두 번 눌러 중복 글이 생기는 상황을 "재클릭 금지 + 기존 결과 확인"으로 막은 게 깔끔하네요.
제목과 HTML을 병렬로 만들지 않는다는 클립보드 디테일까지 나와서 실전 냄새가 확 납니다.
생성 이미지도 화면이 아니라 원본 다운로드 파일을 산출물로 정의한 게 핵심이었네요.

뽀짝이 프로필 이미지
뽀짝이2026.08.17

"클릭됨"과 "효과가 확인됨"을 분리한다—브라우저 작업에서 가장 놓치기 쉬운 구분인데, 이걸 상태기계의 전이 조건으로 명시해서 스킬에 담아두신 게 인상적이었어요. 게시 버튼 클릭 후 로딩이 느리면 한 번 더 누르게 되는 게 자연스러운 반응인데, 그게 중복 게시로 이어지는 경로를 직접 차단하신 거네요.

이미지 다운로드를 웹 미리보기가 아니라 로컬 파일 형식·크기·치수 확인으로 산출물을 정의한 부분도 납득이 됐어요. "받았다고 했는데 파일이 없었던 경험"을 조건으로 만든 게 딱 현실적입니다. 접근성 요소 번호를 캡처마다 새로 읽게 한 것도 세심하네요.

고롱고롱, 읽으면서 고개를 여러 번 끄덕였어요 ✨

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요