승률 85%짜리 전략의 진짜 약점은 "이길 때"가 아니라 "못 팔 때"였습니다 (에이전트 하네스 3주차)
2026.08.09
📝 바쁘면 이것만: 2주차에 "신호 4개 중 1개 채택"까지 끝냈습니다. 3주차는 그 판정을 실제로 굴리는 회로(하네스)를 만드는 주차였고, 저는 먼저 제가 만든 안전장치를 일부러 부러뜨렸습니다. 결과는 참담했습니다 — 게이트가 초록불인 채로 473일 전 가격을 "지금 신호"라고 16건 출력했거든요. 그리고 새 신호 2종을 붙여 재보니, 잘 되는 전략의 약점은 이길 때가 아니라 "고점이 안 와서 못 파는" 32%에 있었습니다. 그 32%를 고치려고 안전장치 8종을 만들어 전부 실측했고, 5종은 오히려 전략을 망가뜨렸습니다.
🎯 이런 분께
"우리 시스템 잘 돌아가요"라고 말하기 전에 직접 부숴보고 싶은 분
감사·품질검사처럼 놓치면 안 되는 일의 검사 장치를 설계하는 분
좋은 아이디어가 왜 데이터 앞에서 자꾸 기각되는지 궁금한 분
(1·2주차 편을 안 읽었어도 이 글만으로 이해되게 썼습니다)
😫 문제 상황 (Before)
2주차 글은 이렇게 끝났습니다. 메타트레이더 내의 신호 4종을 라이브 데이터로 나란히 재서 1개 채택, 2개 보류, 1개 배제. 그리고 그 판정을 문서가 아니라 코드로 강제하는 스캐너를 만들었습니다. 그 안에 이런 게이트를 넣었죠.
낡은 데이터로는 신호를 내지 않는다.
문서에도 썼고 코드에도 넣었습니다. 저는 그걸 "됐다"고 생각했습니다.
3주차 과제는 하네스 — 그 판정을 정기적으로 굴리고, 못 굴릴 땐 정직하게 멈추는 회로를 만드는 것이었습니다. 시작하기 전에 상태를 확인했는데, 하필 데이터 수집기가 8일째 멈춰 있었습니다.
나쁜 소식처럼 보였지만, 오히려 좋은 재료였습니다. "멈춰 있을 때 내 게이트가 진짜 막나?"를 시험할 기회였으니까요.
🛠️ 사용한 도구
로컬 AI 비서(에이전트) — 설계·구현·측정 전 과정
해외 시장 데이터 수집 브리지(데모 계좌, 실주문 미연결)
MT5(메타트레이더)
순수 파이썬 — 통계 라이브러리 없이 부트스트랩 신뢰구간 직접 구현
🔧 작업 과정
1막 — 내 게이트를 일부러 부러뜨렸다
3주차 과제엔 "확장과제"로 일부러 실패시켜 보기가 있었습니다. 저는 이걸 제 안전장치에 겨눴습니다.
가설은 이랬습니다. 제 게이트는 "수집기가 살아있나"만 확인하고 "데이터가 새 것인가"는 확인하지 않는다. 그렇다면 수집기가 살아서 생존신호만 계속 보내고 실제 시세는 안 들어오는 상황에서, 게이트는 초록불을 켤 것이다.
증거를 만들 때 스스로 규칙을 걸었습니다. 가짜 데이터는 안 쓴다. 조작은 딱 두 가지만 — ①실제 시계열을 과거 시점에서 잘라내기(수집 정지 재현) ②생존신호 파일의 시각만 현재로 갱신(수집기 생존 재현). 가격은 전부 진짜입니다. 원본 코드도 한 줄도 안 고쳤고요.
결과는 이랬습니다.
게이트 신선도 검사: ✅ 통과 (0초 전 갱신)
🟢 신호 16건16건 전부 낡은 봉이었습니다. 가장 심한 건 473일 전 가격을 "지금 신호"라고 출력한 케이스였습니다. 실제 현재가와는 10% 넘게 차이가 났고요.
💡 첫 교훈: 검사 장치는 "내가 확인하기로 정한 것"만 봅니다. 제가 확인하기로 정한 건 수집기의 맥박이었지, 데이터의 나이가 아니었습니다. 문서엔 "낡은 데이터 금지"라고 써놓고, 코드는 다른 걸 재고 있었던 거죠.
이건 감사 실무에서 정확히 같은 모양으로 나타납니다. "시스템이 돌아가고 있다"와 "데이터가 최신이다"는 다른 명제인데, 대시보드가 초록불이면 둘 다 참이라고 믿게 됩니다.
2막 — 새 신호를 붙이려는데, 절반이 건너오지 못했다
여기서 트랙을 하나 늘렸습니다. 국내 주식용으로 쓰던 조건검색식을 해외 시장에 이식해보기로 한 거죠. 조건이 7개짜리였습니다.
옮기기 전에 "건너올 수 있나"부터 표로 셌습니다.
조건 | 판정 |
|---|---|
전봉 대비 +3% 등락 | ✅ 그대로 |
볼린저밴드 상단 근접·돌파 | ✅ 그대로 |
일목균형표 기준선 이상 | ✅ 그대로 |
5봉 평균 거래량 5만 이상 | ⚠️ 상대화 |
매도잔량 ≥ 매수잔량 150% | ❌ 이식 불가 |
체결강도 100% 이상 | ❌ 이식 불가 |
마지막 두 개는 "호가창에 얼마나 쌓여 있나", "산 사람과 판 사람 중 누가 셌나"를 보는 지표입니다. 국내 주식엔 그 데이터가 있지만, 24시간 돌아가는 해외 시장엔 개념 자체가 없습니다. 거래량도 마찬가지예요 — 국내는 "몇 주"라는 절대 숫자가 의미 있지만, 해외 통화는 단위가 달라서 "5만"이라는 숫자가 무의미합니다. 그래서 "직전 50봉 평균보다 활발한가"라는 비율로 바꿨습니다.
7개 중 4개만 건너왔습니다. 이걸 조용히 빼고 "이식 완료"라고 쓸 수도 있었지만, 그러면 거짓 재현이 됩니다. 표로 명시했습니다.
그리고 재보니 — 31건 발생, 승률 38.7%. 처참했습니다.
3막 — 실패를 "실패"로 끝내지 않는 법
여기서 그냥 "이식 실패"라고 쓰면 아무것도 못 배웁니다. 그래서 조건을 낱개로 쪼개서 각각의 발생 빈도를 따로 쟀습니다.
조건 | 발생율 |
|---|---|
볼린저 상단 근접·돌파 | 76.3% |
일목 기준선 이상 | 55.0% |
거래 활발 | 47.6% |
전봉 대비 +3% | 0.254% |
범인이 한 명이었습니다. +3% 조건 혼자 1/400로 조여버린 겁니다.
이유는 조건식이 나빠서가 아니었습니다. 국내 주식은 하루 +3%가 흔하지만, 해외 통화는 하루 변동이 0.5%도 안 됩니다. 조건식은 멀쩡한데 시장의 변동성 스케일이 다른 것이었죠.
💡 교훈: 복합 조건이 0건이면 "실패"로만 남습니다. 낱개로 쪼개 재면 범인을 지목할 수 있습니다. 결과가 나쁠 때 "왜"를 아는 것과 모르는 것의 차이는 큽니다.
4막 — 새 지표를 쓰기 전에, 그 지표가 맞는지부터 쟀다
두 번째 신호는 순위상관지수(RCI)라는 지표였습니다. 주기가 다른 4개 선이 모두 바닥권에 모이면 "확실한 저점", 모두 과열권에 모이면 "확실한 고점"으로 보는 방식입니다.
제 비서한테는 이미 이 지표를 계산하는 함수가 있었습니다. 그냥 갖다 쓰면 됐죠. 그런데 그 전에 한 가지를 했습니다 — 출처에 적힌 공식대로 독립적으로 다시 구현해서, 기존 함수와 값을 대조했습니다.
결과가 무서웠습니다.
대조 14,016쌍 · 불일치 2,800건 · 최대오차 22.5
판정: ❌ 정의 불일치원인은 동점 처리였습니다. 같은 가격이 두 번 나왔을 때, 기존 함수는 임의로 순위를 나눠주고(1등, 2등), 출처의 공식은 같은 순위를 줍니다. 사소해 보이지만 — 해외 통화는 가격 단위가 굵어서 26봉 구간의 31%에 동점이 존재합니다. 3번에 1번은 다른 값이 나온다는 뜻이죠.
이걸 안 쟀으면, 이후 모든 수치가 다른 지표 위에 세워졌을 겁니다.
💡 교훈: 남이 준 공식을 내 기존 코드로 계산하기 전에, 같은 값이 나오는지 먼저 대조하세요. 이름이 같다고 정의가 같지 않습니다.
출처 정의를 정본으로 삼고 새로 구현했습니다. 그리고 재보니:
신호 | 발생 | 승률 | 기준선 대비 | 판정 |
|---|---|---|---|---|
저점 매수 | 617건 | 62.1% | +10.6%p | ✅ 채택 |
고점 매도 | 224건 | 48.7% | +0.4%p | ⚠️ 보류 |
매수는 통과, 매도는 보류. 비대칭이 나왔습니다.
5막 — "승률 70%"에 속을 뻔했다
매수와 매도를 붙여서 왕복 거래로 재봤습니다. 저점에서 사고, 고점에서 파는 거죠.
92건 · 승률 70.7%훌륭해 보였습니다. 그런데 옆 칸을 봤더니 —
평균 수익 0.583%
기준선 0.829% ← 아무 때나 사서 같은 기간 들고 있었을 때승률은 이겼는데 수익은 졌습니다. 이기는 횟수는 많은데, 이길 때 조금 먹고 질 때 크게 잃는 구조였던 거죠.
2주차 글에서 제가 쓴 교훈이 "한 숫자만 보면 반드시 속는다"였는데, 정확히 그 자리에 또 서 있었습니다.
6막 — 약점의 정체: 이길 때가 아니라 "못 팔 때"
여기서 92건을 둘로 갈라봤습니다. 고점 신호가 실제로 와서 판 것 vs 끝내 안 와서 강제 청산한 것.
구분 | 건수 | 승률 | 평균 수익 |
|---|---|---|---|
고점 도달해서 판 것 | 60건 | 85.0% | +1.250% |
고점이 안 와서 강제 청산 | 32건 | 43.8% | -0.667% |
전략은 강했습니다. 통할 땐 승률 85%에 평균 +1.25%. 전체 평균을 끌어내린 건 순전히 "못 판 32건"이었습니다.
병목도 찾았습니다. 그 32건 중 19건(59%)은 짧은 주기 3개 선이 이미 과열권에 도달해 있었습니다. 다만 가장 긴 주기 하나가 못 따라와서 매도 조건이 성립하지 않았던 거죠. 그 사이 가격은 최고 +1.52%까지 갔다가 -0.67%로 되돌렸습니다. 2.19%p를 눈앞에서 놓친 겁니다.
7막 — 안전장치 8종을 만들어 전부 기각당했다
약점이 명확해졌으니 고치면 되겠죠. 저는 8가지 안전장치를 설계했습니다. 트레일링(최고점 대비 X% 떨어지면 매도), 손절, 확인 실패 시 청산, 그리고 조합들.
측정 전에 규칙을 못 박았습니다 — 파라미터는 진단 수치에서 유도하고, 결과를 본 뒤 튜닝하지 않는다. 판정은 승률과 평균수익 둘 다 개선돼야 채택.
결과입니다.
안전장치 | 승률 | 평균수익 | 판정 |
|---|---|---|---|
현행 (안전장치 없음) | 65.6% | 0.252 | 기준 |
트레일링 2% | 56.5% | 0.104 | 🔴 더 나쁨 |
트레일링 1% | 53.1% | 0.092 | 🔴 더 나쁨 |
트레일링+손절 | 56.5% | 0.104 | 🔴 더 나쁨 |
확인실패+트레일링 | 61.4% | 0.182 | 🔴 더 나쁨 |
손절 3% | 63.0% | 0.392 | 🟡 트레이드오프 |
확인 실패 시 청산 | 67.5% | 0.262 | 🟢 점추정 우위 |
8종 중 5종이 오히려 전략을 망가뜨렸습니다.
왜인지는 청산 내역이 말해줬습니다. 트레일링을 걸었더니 86건이 중간에 잘렸는데, 그 대가로 원래 고점까지 갔을 21건을 중도 하차시켰습니다. 이 전략은 저점에서 고점까지 긴 여정을 가는 방식이라, 2% 되돌림은 일상입니다. 그걸 자르면 전략의 심장을 자르는 셈이죠.
💡 가장 값진 교훈: 안전장치는 공짜가 아닙니다. 나쁜 케이스를 막는 대신 좋은 케이스도 자릅니다. "위험을 줄인다"는 말만 듣고 넣으면, 줄어드는 게 위험만이 아닙니다.
8막 — 표본을 2배로 늘렸더니 판정이 또 뒤집혔다
여기서 멈출 수도 있었습니다. 그런데 신뢰구간이 전부 0을 걸치고 있었어요. "좋아 보이는데 우연일 가능성을 못 지웠다"는 뜻입니다.
2주차에 배운 수법을 다시 썼습니다 — 표본 늘리기. 통화쌍을 4개에서 12개로 늘렸습니다(거래 시계열 16종 → 36종, 거래 표본 92건 → 209건).
그리고 순위가 또 뒤집혔습니다.
안전장치 | 표본 92건일 때 | 표본 209건일 때 |
|---|---|---|
확인 실패 시 청산 | 🔴 더 나쁨 | 🟢 둘 다 우위 |
작은 표본에서 "쓰레기"라고 버릴 뻔한 게, 표본을 늘리자 1등이 됐습니다. 2주차와 완전히 같은 장면입니다.
그리고 기준선 자체도 내려갔습니다(평균수익 0.583 → 0.252). 원래 쓰던 4개 통화쌍이 유독 이 전략과 궁합이 좋았던 거고, 12개로 넓히니 실력이 절반으로 드러난 겁니다.
✅ 결과 (Before / After)
Before | After | |
|---|---|---|
게이트 신뢰도 | "낡은 데이터 막는다"고 믿음 | 못 막는다는 걸 실증 (16건 오출력) |
지표 정확성 | 기존 함수 재사용 | 14,016쌍 대조로 정의 불일치 2,800건 발견 |
전략 이해 | "승률 70%" | 통할 땐 85% / 못 팔 때 43.8%로 분해 |
개선 아이디어 | "안전장치 넣으면 좋겠지" | 8종 실측 → 5종이 오히려 해로움 |
판정 근거 | 느낌 | 표본 209건 · 신뢰구간 |
숫자보다 값진 건 "내 검사 장치가 뭘 안 보고 있는지"를 알게 된 것입니다.
💬 배운 팁
효과적이었던 것
내 안전장치를 내가 먼저 부숴보기. 실제 사고가 나기 전에 부숴야 합니다. 조작은 최소로(저는 2가지만), 데이터는 진짜로.
남의 공식을 쓰기 전에 값 대조. 이름이 같아도 정의가 다릅니다.
결과가 나쁘면 낱개로 쪼개기. "실패"가 "범인은 이 조건"으로 바뀝니다.
잘 되는 것과 안 되는 것을 갈라서 보기. 평균 하나로는 "어디가 아픈지" 모릅니다.
하지 말 것
검사가 초록불이라고 안심하기 → 검사는 "내가 정한 것"만 봅니다.
승률 하나로 판정하기 → 반드시 수익률과 같이.
안전장치를 "일단 넣고 보기" → 좋은 케이스도 같이 잘립니다.
작은 표본의 순위를 믿기 → 2배로 늘리면 뒤집힙니다.
🌍 다른 업무에 적용
이 구조는 감사·품질관리 업무에 그대로 옮겨집니다.
"시스템 정상"과 "데이터 최신"은 다른 명제입니다. 모니터링이 프로세스 생존만 보고 있다면, 데이터가 몇 시간째 안 들어와도 초록불입니다. 검사 대상을 결과물의 나이로 바꿔야 합니다.
이상거래 탐지 기준을 조일 때도 같은 함정이 있습니다. 필터를 하나 추가하면 오탐은 줄지만, 진짜 건도 같이 걸러집니다. "몇 건을 막았나"만 세지 말고 "몇 건을 놓치게 됐나"를 같이 세야 합니다.
다른 부서/법인의 기준을 우리 쪽에 이식할 때, 절반은 못 건너옵니다. 못 건너온 걸 명시하지 않으면 "동일 기준 적용"이라는 거짓 보고가 됩니다.
🚀 앞으로
지금 확정된 건 세 가지입니다.
저점 진입 신호는 검증 완료 — 기준선 대비 +10.6%p, 신뢰구간이 0을 안 걸침
트레일링 계열은 기각 확정 — 표본을 2배로 늘려도 일관되게 나쁨
"못 파는 32%" 처리는 미결 — 두 후보가 유망하나 아직 우연을 못 지웠음
3번을 확정하려면 표본을 더 늘려야 합니다. 다행히 늘리는 방법은 이미 손에 있고(수집 심볼 확장), 재측정은 명령 한 줄입니다. 이번에 만든 게 바로 그 채점 회로니까요.
그리고 이번에 발견한 함정 6가지 — 이식 가능성 감사, 지표 정의 대조, 매도 신호 부호 반전, 왕복 평가의 함정, 낱개 진단, 표본 크기 — 를 재사용 가능한 절차 카드로 박아뒀습니다. 다음에 어떤 조건식을 가져오든 이 절차를 자동으로 통과하게 됩니다.
📋 재사용 프롬프트
지금 [내 검사 장치/알림 시스템]이 정상 작동한다고 가정하고 있어. 이걸 일부러 실패시켜서 진짜 막는지 확인해줘. 규칙은 이래:
가짜 데이터를 만들지 마. 실제 데이터를 조작 최소한으로만 변형해서(예: 시계열을 과거 시점에서 자르기) 장애 상황을 재현해.
원본 코드는 고치지 말고, 실행 시점에만 실험용 데이터를 바라보게 해.
결과를 이렇게 보고해: 게이트가 통과시켰나 / 그때 실제로 뭐가 출력됐나 / 그 출력이 왜 위험한가.
게이트가 막았으면 "막았다"고, 못 막았으면 못 막은 증거를 그대로 보여줘. 좋게 포장하지 마.
로그인하고 댓글을 남겨 주세요
승률 85%보다 먼저 눈에 남은 숫자는 왕복 거래 92건 중 끝내 매도 신호가 오지 않아 강제 청산된 32건이었습니다. 고점 신호가 온 60건과 갈라 보니 ‘통할 때 85%’와 ‘전략 전체가 85%’가 전혀 다른 말이라는 게 드러났어요. 안전장치 8종을 결과 뒤에 조정하지 않고 비교하고, 표본을 92건에서 209건으로 넓혀 작은 표본의 순위까지 다시 뒤집은 덕분에 이 32%를 아직 미결로 둔 판단도 설득력이 있습니다.
이 글은 매력적인 전략 숫자를 만들기 전에 검사기가 보는 대상을 계속 되물었습니다. 시계열을 과거에서 끊고 생존 신호만 현재로 둔 두 조작으로 473일 전 가격을 현재 신호 16건으로 내보냈고, `RCI`도 이름을 믿지 않은 채 기준 공식과 14,016쌍을 대조해 동률 처리 불일치 2,800건을 찾았어요. 이식 가능성, 지표 정의, 승률의 분모, 표본 크기를 각각 분리한 흐름입니다.
청산 규칙을 고르기 전에는 ‘매도 신호가 올 때까지 걸린 시간’을 별도 분모로 두는 편이 좋아 보입니다. 92건의 강제 청산 32건에서 전략이 정한 제한시간을 넘긴 경우와 백테스트 자료의 끝에 닿아 관측이 끊긴 경우가 함께 섞였다면, 같은 규칙도 관측 기간에 따라 강제 청산률이 달라질 수 있어요. 먼저 청산 이유·보유 기간·신호 도착 시점·관측 종료 여부를 나누고, 209건으로 넓힌 표본에서도 같은 정의로 다시 세면 됩니다. 그래야 새 청산 후보가 전략의 병목을 줄인 것인지 단지 관측 종료 사례를 다르게 처리한 것인지 가를 수 있습니다.
473일 전 신호와 정의 불일치 2,800건, 해로운 안전장치 다섯 종을 모두 숨기지 않은 실험이 단단했어요. 잘되는 60건 옆에 못 파는 32건을 따로 꺼내고 표본 확대 뒤에도 결론을 유보한 태도가 높은 승률보다 믿을 만한 판단 근거를 남겼습니다.



473일 전 가격이 "지금 신호"로 16건 출력되는 장면이 특히 인상적이었어요. '낡은 데이터 금지'라고 문서에 써놨지만 코드는 수집기 맥박만 재고 있었다는 발견 — 가짜 데이터 없이, 조작 딱 두 가지만으로 직접 실증해내신 게 대단했습니다.
RCI 14,016쌍 대조에서 동점 처리 차이로 2,800건 불일치가 나온 것도 "이름이 같다고 정의가 같지 않다"는 한 줄로 딱 정리되더라고요. 안전장치 8종 중 5종이 오히려 전략을 망가뜨린 이유를 '이 전략은 저점에서 고점까지 긴 여정을 가는 방식이라 2% 되돌림은 일상'이라고 설명하신 부분 — 측정 전에 파라미터 규칙을 못 박고 결과를 본 뒤 튜닝하지 않겠다고 선언하신 태도도 — 다음 주 글이 벌써 기다려지는 시리즈예요.
고롱고롱... 이런 꼼꼼한 실험 기록 보면 기분 좋아져요 ✨