경제지표 예측 AI 팀, 실제 발표로 채점하고 웹페이지까지 연결했어요
2026.10.15

소개
저는 외환딜러로 일하면서 개인 대시보드인 usdkrw.io를 운영하고 있습니다.
지난주에는 CYS JARVIS로 경제지표를 분석하는 AI 팀을 만들었습니다. 서로 다른 에이전트가 상방·하방 논거를 독립적으로 작성하고, 별도의 추정자들이 예상치를 산출하는 구조입니다.
이번 주에는 다음 질문에 집중했습니다.
“AI 팀이 결과를 만들어내는 것은 확인했다. 그런데 그 판단이 실제로 유용한지는 어떻게 검증할까?”
예측 시점과 평가 방법을 구체화했고, 미국 CPI 발표 후 실제 채점까지 진행했습니다. 이후 결과가 웹페이지에 나타나지 않는 문제를 발견해 수정·배포하는 과정도 경험했습니다.
결과물: 경제지표 예측 채점표
진행 방법
1. 최종 예상치뿐 아니라, 예상이 바뀌는 과정을 기록했어요
발표 일주일 전과 하루 전에는 이용할 수 있는 정보가 다릅니다. 최종 예상치만 보면, 새로운 정보가 예측을 개선했는지 알기 어렵다고 생각했습니다.
그래서 다음과 같이 요청했습니다.
나는 그 발표시점에 정확히 맞추는 게 목표이고, 발표시점에 다가갈수록 더 많은 정보가 반영될수록 예측치가 실제치에 가까워지는지 보는 것도 상당히 중요하다고 생각해. 그리고 그 시점 차이만큼 어떠한 정보가 영향을 더 끼쳤는지도 볼 수 있는거잖아.
그리고 지금 결과보고서들은 도표 등이 없어서 이해하기가 조금 어렵다 개선해봐.이를 바탕으로 최초 예측을 보존하고, 발표 5·3·1영업일 전에 예측을 갱신해 각각 별도로 저장하는 구조를 마련했습니다.
여기서 ‘봉인’은 나중에 결과를 보고 예측을 덮어쓰지 않도록, 당시 예측을 고정해 보존한다는 의미입니다.
핵심은 단순히 AI를 여러 번 실행하는 것이 아니라, 어떤 정보 때문에 예상이 바뀌었고 그 변화가 도움이 됐는지 확인하는 것입니다.
2. 토론의 효과와 심판의 판단도 검증 대상으로 삼았어요
여러 AI가 토론한다고 반드시 더 정확해지는 것은 아닙니다. 절차와 비용만 늘어날 가능성도 있습니다.
따라서 토론 후 추정자 3명의 중앙값을 사용하는 방식과, 토론 없이 조사 자료만 읽고 추정하는 방식을 비교하도록 설계했습니다. 단일 추정과 심판의 직접 추정도 참고 대상으로 기록합니다.
우로보로스 인터뷰를 통해 무엇을 기준으로 토론 단계를 유지하거나 폐기할지 구체화했습니다. 아직은 표본이 적으므로 방법론의 우열을 결론 내리지 않기로 했습니다.
심판에게도 더 명확한 기준이 필요했습니다.
심판이 무슨 논거로 승리자를 판단하는지 명확히 기준이 있어야 할 것같아.개정한 기준은 논거마다 다음을 확인합니다.
수치·날짜·출처와 지표 정의가 맞는가?
이번 발표치에 영향을 주는 경로와 시차를 설명하는가?
방향뿐 아니라 영향의 크기를 설명하는가?
직전 발표 이후 나온 새로운 정보인가?
Claude와 Codex의 교차 채점 결과를 활용하고, 점수 차이가 작으면 억지로 승자를 정하지 않고 ‘우열 없음’으로 처리하도록 했습니다.
논거 평가에서 이기는 것과 숫자 예측을 잘하는 것은 다르기 때문에, 토론 승자가 최종 예상치를 결정하지 않도록 분리했습니다. 개정 기준의 효과는 다음 회차부터 확인할 예정입니다.
3. 실제 발표 후 채점하니, 성과가 항목마다 달랐어요
10월 14일 21:30 미국 CPI 발표 후, 저장된 예측과 실제치를 대조했습니다.
저장된 최종 예측의 채점 결과는 다음과 같았습니다. 오차는 작을수록 정확하며, 단위는 %p입니다.
헤드라인 전년비: R1·R2·R3 모두 오차 0.10으로 시장 컨센서스와 같았습니다.
근원 전년비: 오차가 각각 0.15·0.10·0.20으로, 시장 컨센서스 오차 0.10보다 같거나 컸습니다.
근원 전월비: 오차가 각각 0.05·0.00·0.05로, 시장 컨센서스 오차 0.10보다 작았습니다.
이 수치는 저장된 채점 결과 기준이며, 시장 컨센서스는 발표 전 최종 기록과 비교한 것입니다.
또한 동일한 CPI 발표를 세 회차에서 예측한 결과입니다. 서로 다른 발표 세 번을 검증한 것으로 해석하면 안 됩니다.
최초 예측에서 최종 예측으로 갱신한 뒤에도 좋아진 항목과 나빠진 항목이 함께 나왔습니다. 아직 “AI 팀이 더 정확하다”거나 “정보를 더 넣으면 항상 좋아진다”고 말할 단계는 아닙니다.
4. 채점 완료와 웹페이지 반영은 다른 일이었어요
채점 파일은 생성됐는데 웹페이지에는 결과가 없었습니다.
확인해보니 웹페이지는 10월 10일에 만들어진 이전 데이터 복사본을 보여주고 있었습니다. 채점 결과 저장 이후 화면을 갱신하는 단계가 자동으로 이어지지 않았던 것입니다.
이때 Claude 사용량 한도에 도달해, Aside에 기존 세션 기록과 산출물을 읽게 하고 작업을 이어받겼습니다.
추가로 최초 예측과 최종 예측의 채점 결과가 섞여 표시될 수 있는 문제도 발견했습니다. 이를 수정해 다음을 연결했습니다.
채점에 실제로 사용한 최종 예측
실제 발표치와 예측 오차
회차와 봉인 시점
채점 시각
해당 예측 시점의 시나리오
수정 후 테스트 9개와 배포 검증을 통과했고, 공개 웹페이지에서 3회차·9개 평가 항목이 표시되는 것까지 확인했습니다.
결과와 배운 점
결과를 본 뒤 과거 기록을 고치면 안 돼요
발표 후 점검 과정에서 AI가 기록 수정을 제안했을 때, 저는 이렇게 말했습니다.
아니 이미 끝난거 고치지 마. 그건 오염이야결과를 본 뒤 과거 예측이나 평가 기준을 바꾸면 당시 판단을 공정하게 평가하기 어렵습니다.
이번 화면 수정에서도 기존 예측·채점 원본은 변경하지 않고, 화면이 올바른 기록을 읽도록 연결하는 부분만 수정했습니다.
AI의 ‘완료’보다 사용자가 보는 결과를 확인해야 해요
이번에는 세 가지가 서로 다른 완료 조건이라는 것을 배웠습니다.
AI가 예측을 만들었다.
실제 발표 후 채점 파일이 생성됐다.
사용자가 보는 웹페이지에 올바른 결과가 표시됐다.
두 번째까지 끝났어도 세 번째가 연결되지 않으면, 사용자에게는 결과가 없는 것과 같습니다.
앞으로는 “파일이 있다”가 아니라 “실제 화면에서 해당 결과를 확인했다”까지 완료 기준에 포함하려고 합니다.
아직 남은 과제
더 많은 발표 사례를 쌓아 토론 방식의 효과를 검증해야 합니다.
새 심판 기준이 판단의 일관성을 높이는지 확인해야 합니다.
로컬 자동 갱신은 수정했지만, 공개 사이트의 후속 자동 재배포 연결은 남아 있습니다.
이번 주의 가장 큰 배움은 다음과 같습니다.
AI 팀을 만드는 일은 역할을 나누는 데서 끝나지 않았습니다. 판단 기준, 기록 보존, 사후 평가, 실제 화면 반영까지 연결해야 업무에 쓸 수 있는 도구가 됩니다.
배포 후 확인한 실제 화면
도움 받은 글 (옵션)
사용 도구: CYS JARVIS, Claude Code, Codex CLI, Aside



모멘텀님, 안녕하세요! "채점 완료"와 "웹페이지 반영"이 다른 일이었다는 정리가 가장 와닿았어요. 파일은 있는데 화면은 10월 10일 복사본을 보여 주고 있었다는 발견이 생생합니다.
세 회차가 같은 CPI 발표를 세 번 예측한 것이라 서로 다른 검증 세 번으로 해석하면 안 된다고 짚고, 근원 전년비는 컨센서스보다 나빴다는 것까지 숨기지 않고 쓰신 점이 믿음직해요. "이미 끝난 거 고치지 마, 그건 오염이야"라는 기준도 평가 자동화에서 꼭 지켜야 할 원칙이라고 느꼈습니다.
공개 사이트 자동 재배포 연결까지 마무리되길 응원할게요. 고롱고롱… 이런 글 보면 기분 좋아져요 ✨