틀린 증시 브리핑을 막기 위해 AI에게 세 가지 검증 추가

📝 한줄 요약

미국·한국 증시 일일 요약 알림을 만들면서, 숫자만 맞추는 자동화가 아니라 수치·문장·위험 판단을 각각 검증하는 하네스를 설계했습니다. 목표는 브리핑을 빨리 쓰는 것이 아니라, 잘못된 브리핑이 전달되기 전에 멈추게 하는 것이었습니다.

바쁘시면 이것만 읽어도 돼요:

• 시장 브리핑의 오류는 숫자 오기뿐 아니라, 서로 다른 거래일의 수치를 섞거나 사실과 해석을 한 문장에 넣을 때도 생깁니다.

• 그래서 숫자 진실, 문장 진실, 위험 진실이라는 세 가지 검증 게이트를 만들었습니다.

• 데이터가 부족하다고 시장 위험 등급을 높이지 않고, 시장 위험과 데이터 품질을 분리했습니다.

• 실제 최소 실행에서는 확인하지 못한 값들을 채우지 않고 미확인으로 남겼습니다.

• 아직 모든 데이터를 안정적으로 수집하는 완성형 자동화는 아니지만, 틀린 정보를 막는 통제 구조를 먼저 검증했습니다.

🎯 이런 분들께 도움돼요

• 매일 시장·뉴스·지표를 요약하지만 숫자와 해석의 정확성이 걱정되는 분

• AI로 알림을 만들고 싶지만 과장된 뉴스 해석이나 ‘위기’ 표현이 부담스러운 분

• AI 결과물을 외부에 전달하기 전에 검증 기준과 증거를 남기고 싶은 분

😫 문제 상황: 숫자가 맞아도 브리핑은 틀릴 수 있습니다

증시 알림은 겉으로 보면 단순합니다. 지수 등락률, 환율, VIX, 주요 뉴스 몇 개를 모아 짧게 정리하면 됩니다.

하지만 실제로는 아래처럼 더 미묘한 오류가 생깁니다.

• 한국은 오늘 정규장 종가인데, 미국은 아직 장중 수치인 경우

• 미국 전일 종가와 한국 당일 종가를 같은 시점의 반응처럼 비교하는 경우

• 뉴스 제목과 주가 하락을 붙여 놓고, 마치 뉴스가 하락의 직접 원인인 것처럼 쓰는 경우

• VIX가 올랐다는 이유만으로 시장 위기나 금융 불안을 단정하는 경우

이런 문장은 자연스럽게 읽히지만, 기준과 근거가 섞여 있어 독자에게 잘못된 판단을 줄 수 있습니다. 그래서 이번 과제의 목표는 ‘더 많은 숫자를 보여주는 브리핑’이 아니라, 틀릴 가능성이 있는 브리핑을 외부로 내보내지 않는 구조를 만드는 것이었습니다.

🛠️ 사용한 도구

• Hermes Agent: 설계 계약 정리, 데이터 확인, 검증 흐름 구성, 실행 영수증 작성

• custom-market-briefing 스킬: 세션 기준 → 데이터 → 뉴스 근거 → 위험 판정 → 최종 편집을 나눈 시장 브리핑 하네스

• Google Finance: 최소 실행에서 일부 미국 시장 수치를 확인한 출처

• Markdown 문서: 설계 계약, 최소 실행 결과, 실행 영수증을 남긴 제출물

🔧 작업 과정

1. ‘요약하기’ 전에 거래일과 가격 기준부터 정했습니다

처음 요청은 미국·한국 증시 일일 요약 알림이었습니다. 그런데 바로 글을 쓰게 하면 AI는 화면에 보이는 값들을 모아 자연스러운 문장을 만들 가능성이 높습니다.

그래서 먼저 한국과 미국의 기준 거래일, 정규장·장중·시간외 상태를 분리했습니다. 모든 숫자에는 출처·확인 시각·가격 기준이 붙어야 하며, 확인할 수 없으면 쓰지 않는다는 규칙도 세웠습니다.

text미국·한국 증시 일일 요약 알림 스킬을 대상으로 7개 설계 계약내용 작성해줘

이 단계는 단순한 사전 준비가 아니었습니다. 뒤에서 뉴스와 위험을 해석할 때도 “어느 시점의 어떤 값인가?”를 되짚을 수 있는 기준점이 됐습니다.

2. 숫자를 확인하는 게이트: 숫자 진실

첫 번째 게이트는 숫자 진실입니다.

숫자를 브리핑에 넣으려면 아래 다섯 가지가 모두 있어야 합니다.

1. 무엇의 수치인지 — 자산·지수 이름

2. 어디서 확인했는지 — 출처

3. 언제 확인했는지 — 출처 표시 시각

4. 어느 거래일인지 — 기준 거래일

5. 어떤 가격인지 — 정규장 종가·장중·프리마켓·시간외 여부

최소 실행에서 Google Finance 화면에는 S&P 500 7,753.11(-0.06%), VIX 15.50(+4.03%)가 표시됐습니다. 하지만 한국 지수·원/달러·Nasdaq Composite와 미국 정규장 종가 여부까지 동일한 기준으로 검증하지는 못했습니다.

이때 빈칸을 다른 화면의 값이나 추정으로 채우지 않았습니다. 검증하지 못한 값은 미확인으로 남겼습니다.

이 실험이 보여준 것은 “숫자가 없는 브리핑”이 아니라, 근거가 부족한 숫자를 쓰지 않는 브리핑이었습니다.

3. 문장을 확인하는 게이트: 사실과 해석을 분리했습니다

두 번째 게이트는 문장 진실입니다.

시장 브리핑에서 자주 생기는 오류는 하나의 문장에 사실, 시장 반응, 해석, 인과관계를 모두 넣는 것입니다.

text연준 발언으로 기술주가 하락하며 위험회피 심리가 커졌습니다.

이 문장은 짧지만 다음 네 가지를 한 번에 주장합니다.

• 연준 발언이 있었다는 사실

• 기술주가 하락했다는 시장 반응

• 위험회피 심리가 커졌다는 해석

• 발언이 하락을 만들었다는 인과관계

그래서 하네스는 한 문장에 하나의 주장 유형만 남기도록 했습니다.

text[확인된 사실]
- 연준이 특정 발언을 했습니다.

[관측된 시장 반응]
- 같은 거래일에 기술주 지수는 하락했습니다.

[조건부 해석]
- 금리 경로에 대한 경계가 반영된 흐름으로 해석할 수 있습니다.
- 다만 해당 발언이 하락의 직접 원인이라고 단정할 근거는 부족합니다.

이렇게 쓰면 독자는 무엇이 확인된 정보이고, 무엇이 해석인지 구분해서 읽을 수 있습니다.

4. 위험을 확인하는 게이트: ‘이슈’와 ‘단순 변동’을 구분했습니다

세 번째 게이트는 위험 진실입니다.

VIX가 상승하거나 지수가 하락했다는 사실만으로 ‘주의’, ‘위기’, ‘금융 불안’이라고 표현하면 안 됩니다. 위험 등급을 쓰려면 적어도 다음을 확인해야 합니다.

• 실제로 확인된 사건이 있는가

• 공식 발표 또는 독립적인 복수 보도가 있는가

• 금융주·채권·환율·금·신용시장 등에서 파급 신호가 보이는가

• 개별 기업, 특정 업종, 시장 전반 중 어디까지 영향을 보이는가

• 앞으로 24~72시간 동안 무엇을 확인하면 등급을 다시 평가할 수 있는가

여기서 중요한 수정도 있었습니다. 처음 최소 실행에서는 데이터가 부족하다는 이유로 위험 등급을 🟡 주의로 표시했습니다. 다시 검토해 보니 이는 정확하지 않았습니다. 데이터가 부족한 것과 시장 위험이 커진 것은 다른 문제이기 때문입니다.

그래서 최종 구조에서는 아래처럼 두 항목을 분리했습니다.

text시장 위험 등급: 판정 보류
데이터 품질: 🟡 제한적

이제 🟡 주의는 확인된 특정 이슈와 제한적인 시장 파급이 있을 때만 쓸 수 있습니다. 데이터가 없다는 이유만으로 시장을 불안하게 표현하지 않게 됐습니다.

✅ 결과: 브리핑을 만드는 흐름이 아니라, 틀린 브리핑을 차단하는 흐름

Before vs After

실제 최소 실행 결과

이번 실행은 모든 시장 데이터를 갖춘 완성형 일일 브리핑은 아니었습니다. 대신 일부 미국 수치만 검증 가능한 상황에서, 나머지를 임의로 채우지 않고 제한 사항을 밝히는 안전 경로가 작동하는지 확인했습니다.

textTrace: 기준 시각 확인 → S&P 500·VIX 조회 → 누락 데이터 분류 → 브리핑 편집
Proof: 확인 화면의 수치·변동률·표시 시각 기록
Verdict: 수치 추정과 과장된 해석 없이 제한 조건부 통과
Repair: 한국 시장과 미국 정규장 종가의 독립 출처를 추가한 뒤 동일 기준으로 재실행

위 수치와 화면 표기는 2026-08-11 KST에 실행한 최소 테스트의 기록입니다. 투자 권유가 아니며, 데이터 제공처의 지연·표기 기준·수집 범위에 따라 실제 시장 수치와 차이가 날 수 있습니다.

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. AI에게 “오늘 시장을 요약해줘”라고만 요청하지 않고, 먼저 거래일·가격 기준·출처를 확인하게 했습니다.

2. 숫자 수집, 뉴스 근거, 위험 판단, 문장 편집을 한 번에 시키지 않고 분리했습니다. 오류가 생기면 어느 단계가 문제인지 찾기 쉬웠습니다.

3. 미확인과 판정 보류를 실패가 아니라 안전한 결과로 취급했습니다.

4. 위험 등급에는 사건의 근거·시장 파급·영향 범위·재평가 조건을 함께 요구했습니다.

이렇게 하면 안 돼요

1. 미국 장중 수치를 전일 정규장 종가처럼 쓰지 않기

2. 뉴스 제목 하나와 주가 움직임을 붙여 원인과 결과로 단정하지 않기

3. VIX 상승 하나만으로 시장 위기나 금융위기를 선언하지 않기

4. 데이터가 부족하다는 이유로 시장 위험 등급을 높이지 않기

🌍 다른 업무에 적용한다면?

이 방식은 시장 브리핑에만 쓰이지 않습니다.

• 월간 실적 보고: 확정 실적, 관측된 변화, 원인 가설을 분리

• 경쟁사 뉴스 모니터링: 보도 사실과 사업 영향 해석을 분리

• 고객 문의 분석: 실제 문의 내용과 개선 우선순위 판단을 분리

• 재고·운영 알림: 데이터 이상과 실제 운영 위험을 분리

핵심은 AI가 답을 잘 쓰는지보다, 어디까지가 확인된 사실이고 어디부터가 판단인지 추적할 수 있는가입니다.

🚀 앞으로의 계획

• 한국 지수·환율·미국 정규장 종가를 각각 검증할 수 있는 대체 출처를 고정합니다.

• 출처 URL·조회 시각·원시 데이터를 저장해 재검증 가능한 증거 영수증을 만듭니다.

• 문장 단위 주장 유형 검사를 자동화해 사실과 해석이 섞인 문장을 전달 전에 차단합니다.

• 특별 위험 이슈에 대해 다중 출처·시장 파급·반증 조건을 자동 점검합니다.

📋 재사용 가능한 프롬프트

프롬프트 1: 세 가지 진실 게이트로 시장 브리핑 검증하기

오늘의 미국·한국 증시 브리핑을 작성하기 전에 세 가지를 검증해줘. 첫째, 모든 숫자에 자산명·출처·확인 시각·기준 거래일·정규장/장중/시간외 가격 기준이 있는지 확인해. 둘째, 문장을 확인된 사실·관측된 시장 반응·조건부 해석·미확인으로 구분하고, 한 문장에 사실과 해석 또는 인과 단정을 섞지 마. 셋째, 위험 등급은 확인된 사건·근거 수준·시장 파급·영향 범위·재평가 조건이 있을 때만 부여해. 데이터 부족은 시장 위험이 아니라 데이터 품질로 별도 표시해. 검증되지 않은 내용은 추정하지 말고 미확인 또는 판정 보류로 써줘. 매매 추천은 하지 마.

프롬프트 2: 실행 영수증 작성하기

방금 만든 시장 브리핑의 실행 영수증을 작성해줘. Trace, Proof, Verdict, Repair 순서로 적어줘. 특히 숫자 진실, 문장 진실, 위험 진실, 데이터 품질의 각 판정 결과를 분리해서 보여줘. 증거가 부족한 항목은 통과라고 쓰지 말고, 다음 실행에서 보완할 단계와 재검증 조건을 적어줘.