소개
저는 코드를 직접 보지도, 짜지도 않습니다. 전부 AI(Claude Code)한테 맡겨서 웹 서비스를 만들고 운영해요. 그러다 보니 제일 무서운 순간이 AI가 "다 됐어요" 하고 깔끔하게 끝낼 때입니다. 제가 화면에서 한 번 눌러보면 잘 되는데, 진짜 사용자는 제가 안 해본 행동을 하거든요.
찾아보니 저만의 문제가 아니더라고요. AI가 같이 짠 코드는 사람이 짠 코드보다 심각한 문제가 1.7배 많고, 절반 가까이가 기본 보안 검사를 통과하지 못한다는 조사도 있었습니다. AI는 빠르게 "돌아가게" 만드는 데 최적화돼 있어서, 제가 시킨 메인 흐름은 잘 되는데 가장자리에서 깨져요.
여러 백분율이 표시된 검은색 화면
그래서 "E2E 자동 검증"이라는 걸 제대로 써보자 싶었고, 오픈소스로 공개돼 있는 Autonoma를 골랐습니다.
진행 방법
저는 터미널도 코드도 직접 안 만지니까, Autonoma 붙이는 것도 Claude Code한테 통째로 시켰어요. "이 오픈소스 E2E 검증 도구를 우리 프로젝트에 연결해줘" 하니까 필요한 설치·연결·설정을 알아서 해 줬습니다.
그랬더니 Autonoma가 코드베이스를 스스로 읽어서 테스트 케이스를 만들어냈어요. 제가 "이거 테스트해줘"라고 시나리오를 적은 게 아니라, 알아서 정상 흐름 42개·예외 상황 38개·상태 전환 47개, 총 156개를 뽑아냈습니다. 평소 "이런 것도 확인해야 하나?" 싶던 가장자리를 챙겨준 게 인상적이었어요.
작동은 에이전트 4개가 나눠 합니다.
- 코드를 읽고 테스트 계획을 짜는 에이전트
- 실제 브라우저로 사람처럼 클릭해서 돌리는 에이전트
- 결과를 "진짜 버그 / 테스트가 삐끗 / 계획과 다름"으로 분류하는 에이전트
- 코드가 바뀌면 테스트를 알아서 추가·폐기·갱신하는 에이전트
화면이 바뀌어도 테스트가 알아서 따라온다는 점이 좋았어요.
솔직한 느낌 — 결국 '개발 한가운데' 사는 도구
저처럼 코드를 일절 안 보는 사람한테는 걸리는 게 있었습니다.
Claude Code가 다 해주긴 하는데, 모든 게 결국 코드·터미널·PR(코드를 올리는 과정) 한가운데에서 돌아가요. 데이터 연결 같은 건 앱 안에 무언가를 심는 작업이라 몇 번 왔다갔다했고, 결과도 "PR 통과/실패" 같은 개발자 언어로 나옵니다.
저는 기획에 가까운 사람이라 "내가 정한 흐름이 내 의도대로 되는가"를 제 눈으로 직접 보고 통제하는 느낌을 원했는데, Autonoma에서는 그게 개발 흐름 속으로 들어가 버려서 한 발 떨어진 기분이었어요. 개발팀이 있고 코드 올리는 게 일상인 곳이라면 정말 강력할 겁니다. 다만 저처럼 전부 AI한테 맡기고 코드는 안 보는 사람한테는 시작점이 좀 멀었어요.
결과와 배운 점
- E2E 자동 검증의 가치는 확실합니다. "내가 안 해본 행동"을 기계가 사람처럼 클릭해서 대신 봐준다는 건, 데모 전날의 식은땀을 줄여줘요.
- 다만 Autonoma는 코드·PR 흐름 한가운데 사는 도구입니다. 개발팀엔 강력하지만, 코드 안 보고 전부 AI한테 맡기는 사람한테는 거리가 있었어요.
- 결국 제가 진짜 원했던 건 "코드도 터미널도 안 거치고, 제가 말로 '이렇게 되면 돼'라고 정하면 사람처럼 눌러보고 사람 말로 결과를 알려주는 것"이었습니다. 그런 방향이 있으면 좋겠다 싶었어요.
