본문으로 건너뛰기

자동시험을 돌려도 기존 자료는 그대로 남게 만들기

강진태

2026.10.19

자동시험을 돌려도 기존 자료는 그대로 남게 만들기 본문 이미지

소개

시험 성공과 자료 보존을 함께 확인하기

저는 AI와 개발을 진행하면서 자동시험을 통과시키는 일뿐 아니라, 시험이 기존 자료를 건드리지 않도록 만드는 작업을 했습니다. 검사 결과가 좋아도 평소 쓰던 저장소에 합성 입력이 섞이거나 다른 실행 중인 프로그램을 종료한다면, 그 시험을 안심하고 반복하기 어렵기 때문입니다.

이번 사례에서 제가 다룬 주제는 기능의 내용이 아닙니다. AI에게 시험 대상을 분리하도록 맡기고, 그 분리가 실제 실행에서도 유지됐는지 확인한 방식입니다. 실제 서비스의 화면과 자료는 제외하고, 당시 안전 보완 문서에 남은 과정만 정리합니다.

작업의 중심은 기존 기능을 새로 만드는 데 있지 않았습니다. 시험을 시작할 대상, 자료를 둘 위치, 요청을 허용할 조건, 종료할 대상을 좁히는 일이었습니다. 저는 테스트가 끝났다는 결과와 테스트 과정이 안전했다는 결과를 별도의 완료 조건으로 보았습니다.

설명용 일러스트, 실제 앱 화면 아님: 기존 자료 곁에서 시험하면 경계가 흐려질 수 있다.

진행 방법

아이디어를 제외한 요청 요약

아래는 당시 요청을 그대로 옮긴 인용이 아닙니다. 실제 기능과 고유 규칙을 제외하고, 시험 안전장치에 관한 범위만 남긴 요약입니다.

아이디어를 제외한 요청 요약
자동시험은 별도 저장소와 별도 실행 대상으로 진행해 주세요.
내가 시작한 검사 대상인지 확인한 뒤에만 요청을 보내 주세요.
기존 자료와 다른 실행 중인 프로그램은 변경하지 말아 주세요.
시험 후에는 이번에 만든 대상만 정리하고 보존 여부를 확인해 주세요.

이렇게 요청을 나누면 '안전하게 시험해 주세요'라는 말이 구체적인 조건으로 바뀝니다. 저는 시험 전 분리, 실행 중 확인, 종료 후 보존을 각각 볼 수 있는 항목으로 다뤘습니다. 어느 한 단계가 빠지면 나머지 시험이 통과해도 목적을 충족했다고 보기 어렵습니다.

합성 입력을 기존 자료에서 떼어 놓기

당시 문서에는 합성 예시와 개인 자료를 다른 저장소로 나눈 상태가 기록돼 있습니다. 안전 보완에서는 자동시험용 저장소를 다시 분리했습니다. 저는 예시 화면에서 사용할 자료, 사용자가 보존해야 할 자료, 검사 중 만들고 지울 자료가 서로 다른 역할이라는 점을 유지했습니다.

자동시험 실행기는 자신이 만든 임시 폴더 안에 검사 DB를 마련했습니다. 호출자가 평소 사용하던 위치를 검사 대상으로 슬쩍 대체하지 못하게 하고, 알려진 기본 저장소를 가리키면 시작 전에 거부하도록 했습니다. 단순히 파일 이름을 다르게 붙이는 것보다 실제로 어느 위치를 가리키는지 확인하는 쪽이 중요했습니다.

설명을 위한 일반 예시로, '연습용 문서함'이라는 이름만 붙이고 실제 저장 위치는 기존 문서함과 같다면 분리가 아닙니다. 이름과 위치가 다른지, 다른 이름이 같은 대상을 가리키는지까지 살펴야 합니다. 이 예시는 당시 자료의 구조나 항목을 재현한 것이 아닙니다.

응답이 온다는 이유만으로 시험하지 않기

검사 서버가 응답한다고 해서 곧바로 이번 시험 대상이라고 판단하지 않았습니다. 당시 보완에서는 운영체제가 빈 포트를 배정하도록 하고, 새로 시작한 자식 프로세스(별도로 띄운 실행 프로그램)가 보낸 준비 정보와 실제 HTTP 상태 확인을 대조했습니다. 다른 프로그램이 우연히 응답하는 상황을 구분하려는 장치였습니다.

제가 여기서 주목한 점은 성공 문구보다 대상의 일치 여부였습니다. 서비스의 진단 정보, 프로세스, 이번 실행을 구분하는 값과 실제 포트가 맞아야 요청을 허용했습니다. 확인이 끝나지 않았거나 실행이 끝난 뒤라면 요청을 막는 방식이었습니다. 진단용 값은 인증 비밀이나 권한을 대신하는 수단으로 설명하지 않았습니다.

설명을 위한 일반 예시로, 문서 작업을 맡겼는데 다른 창의 '준비 완료' 표시를 보고 진행하면 잘못된 대상을 고칠 수 있습니다. 자동시험에서도 준비됐다는 말과 내가 시작한 대상이라는 사실을 함께 확인해야 한다는 뜻입니다. 실제 화면의 클릭 순서를 옮긴 예시는 아닙니다.

실행 환경도 필요한 것만 넘기기

저장소와 포트만 분리해도 실행 환경이 그대로 이어지면 검사 범위가 예상과 달라질 수 있습니다. 문서에는 자식 프로세스에 필요한 운영체제 환경만 허용하고, 상위 실행 환경의 인증이나 프록시 설정을 그대로 넘기지 않는 구성이 남아 있습니다. 저는 자료 분리와 실행 환경 분리를 함께 설명했습니다.

이 조치는 모든 보안 문제를 해결했다는 뜻이 아닙니다. 같은 운영체제 사용자의 악의적인 접근을 차단하거나 폴더의 공유 설정을 바꾸는 장치는 아니었습니다. 로컬 시험이 의도하지 않은 자료와 설정을 받아 오지 않도록 좁힌 보완으로 범위를 한정했습니다.

실선 보호 구역의 원본과 점선 시험 구역의 합성 도형

설명용 일러스트, 실제 앱 화면 아님: 주자료와 합성 시험 공간을 물리적으로 나눈다.

정상 실행보다 잘못된 시작을 먼저 의심하기

안전 검수는 정상 시험이 통과하는지만 보지 않았습니다. 준비 정보가 틀린 경우, 응답이 늦거나 일찍 종료되는 경우, 검사 저장소가 잘못 지정된 경우 등 실패 조건도 다뤘습니다. 저는 이런 검사가 있어야 안전장치가 실제로 요청을 멈추는지 설명할 수 있다고 보았습니다.

별도로 실행 중인 검사 화면을 켜 둔 상태에서도 전체 시험을 수행한 기록이 있습니다. 기존의 다른 대상을 끄고 자리를 비우는 대신, 이번 시험이 자신에게 배정된 대상만 사용하도록 한 것입니다. 이때 성공의 의미는 함께 실행됐다는 사실뿐 아니라 자료와 신원이 분리돼 있었다는 데 있었습니다.

독립적인 서버 점검도 문서로 남았습니다. 저는 이 점검을 전체 검사와 같은 것으로 묶거나 개수를 더해 성과를 키우지 않았습니다. 서로 다른 검사는 보는 범위와 남은 한계가 다릅니다. 독립 점검에서 확인하지 않은 종료 방식까지 모두 검증했다고 확대하지 않았습니다.

끝난 뒤에 남아 있어야 할 것을 확인하기

시험 후에는 기존 저장소의 논리적 내용과 무결성을 전후로 비교한 기록이 남았습니다. 화면 구성과 빌드 자산도 보존됐다고 문서에 적혀 있습니다. 저는 이번 글을 쓰면서 원본 DB를 열지 않았으며, 이 결과는 당시 검증 문서에 보고된 사실로 한정해 설명합니다.

정리 작업 역시 범위를 좁혔습니다. 실행기가 만든 임시 폴더와 자신이 시작한 자식 프로세스만 정리하고, 관련 없는 프로그램과 사용자 탭은 대상으로 삼지 않았습니다. 검사 대상이 종료됐는지는 새 연결이 받아들여지지 않는지 확인한 기록과 구분해 남겼습니다.

브라우저 확인도 이루어졌지만 빈 검사 화면의 대표 폭을 본 범위였습니다. 예전에 했던 모든 화면 시험을 이번에 다시 수행했다고 쓰지 않았습니다. 물리 기기의 키보드 신호나 운영체제 차원의 종료 전달까지 확인한 것도 아니었습니다. 실제로 수행한 검사만 결과에 포함했습니다.

결과와 배운 점

반복할 수 있는 시험에는 보존 근거가 필요했습니다

당시 문서 기준으로 자동시험, 별도 서버 점검, 정적 검사와 빌드가 수행됐고 기존 자료의 보존도 확인됐습니다. 저는 이 글에서 그 실행을 새로 재현한 것이 아니라, 작업 기록과 검증 요약을 근거로 과정을 정리했습니다. 실제 자료와 소스는 열지 않았습니다.

제가 배운 것은 격리를 선언하는 말보다 격리가 어긋났을 때 멈추는 조건이 중요하다는 점입니다. 검사 경로가 빠졌을 때 기본 저장소를 대신 쓰지 않고, 대상 확인이 안 되면 다음 요청으로 넘어가지 않으며, 종료할 때 소유한 대상만 다루는 방식이 연결돼야 했습니다.

다음 시험에도 남길 질문

앞으로 저는 시험을 요청할 때 어디에 쓸 것인지, 무엇과 대조할 것인지, 무엇을 지울 것인지부터 정리하겠습니다. 그리고 결과 보고에는 통과 여부만 적지 않고 기존 자료가 그대로였다는 근거와 아직 확인하지 못한 경계를 함께 남기겠습니다.

이번 보완은 공개 운영의 보안 승인이나 모든 저장소를 보호하는 보편적 장치가 아닙니다. 제한된 로컬 시험에서 오염을 줄이고, 기존 작업을 보존하면서 검사를 반복할 수 있게 한 과정입니다. AI에게 검증을 맡길 때도 이처럼 대상과 권한을 좁혀 설명하는 것이 중요한 기준이 됐습니다.

시험 조각은 밖으로 치우고 원본 자료는 보호된 상태로 남기는 장면

설명용 일러스트, 실제 앱 화면 아님: 시험이 끝난 뒤에도 원자료가 보존됐는지 확인한다.

도움 받은 글 (옵션)

당시 시험 안전 보완의 작업 기록과 검증 문서를 참고했습니다. 외부 글의 인용이나 실제 데이터 공개는 하지 않았습니다. 본문 이미지는 과정을 설명하기 위해 제작한 일러스트이며, 시험 통과나 자료 보존을 증명하는 실제 화면이 아닙니다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.19

강진태님, 자동시험이 기존 자료를 건드리지 않게 만드는 과정을 이름이 아니라 "실제로 어느 위치를 가리키는지"로 확인하신 점이 핵심이라고 느꼈어요.

서버가 응답한다는 이유만으로 시험 대상이라고 보지 않고, 빈 포트 배정과 준비 정보 대조로 "내가 시작한 대상"인지 확인하신 것, 시험 전후로 기존 저장소의 무결성을 비교한 것도 설득력 있었어요. 모든 보안 문제를 해결한 게 아니라는 범위 설명까지 적어두셔서 글이 더 믿음직해요.

꼬리 탁! 치고 응원하고 갈게요 🐈‍⬛

Giacomo 프로필 이미지
Giacomo2026.10.20

응답이 왔다는 이유만으로 시험 요청을 보내지 않고, 방금 시작한 자식 프로세스의 준비 정보와 실제 상태 응답을 대조하게 하셨군요. 원본 보존을 다루셨던 앞선 글과 함께 읽으니, 이번 기록에서는 실행 중인 대상의 확인과 정리 범위가 더 구체적으로 보입니다. 운영체제가 배정한 포트, 프로세스와 실행 구분값이 맞아야 요청을 허용하니, 다른 프로그램이 우연히 응답하는 상황까지 살핀 셈입니다. 준비 정보가 틀리거나 저장소가 잘못 지정됐을 때 멈추는 검사도 있어, 정상 실행만으로는 알기 어려운 조건을 다루셨네요.

시험용 저장소를 실행기 자신의 임시 폴더에 만들고, 상위 환경의 인증·프록시 설정을 그대로 넘기지 않은 조치도 같은 맥락으로 읽었습니다. 별도로 실행 중인 화면을 켜둔 채 전체 시험을 수행하고, 종료 후에는 기존 저장소의 논리적 내용과 무결성을 비교했다는 당시 기록이 있어 보존이라는 말의 근거를 따라갈 수 있어요. 독립 서버 점검을 전체 시험에 더해 성과를 부풀리지 않고, 실제 기기의 키보드나 운영체제 차원의 종료 전달은 미확인으로 남긴 설명도 정확합니다. 이번 글에서 원본 DB를 새로 열어 재검증한 결과와는 구분하셨고요.

이번에 만든 임시 폴더와 자신이 시작한 프로세스만 정리하도록 끝까지 범위를 좁힌 점을 특히 높이 봅니다. 시험의 시작부터 종료 뒤 보존 확인까지 연결해주셔서, 반복 가능한 시험이 갖춰야 할 조건을 통과 숫자 밖에서도 볼 수 있었어요. 모든 보안 문제를 해결했다고 주장하지 않으면서 기존 작업을 지키는 절차를 남겨주신 기록입니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요