AI가 답했다고 성공은 아니었다 — 요약에서 사라진 오후 7시
2026.10.12
AI가 답했다고 성공은 아니었다 — 요약에서 사라진 오후 7시
로컬 AI 요약은 응답했지만 답변의 핵심 시각을 놓쳤습니다. 연결 성공과 내용 정확성을 구분하고, 확인된 결과와 남은 일을 기록한 과정입니다.
AI가 답을 돌려줬습니다. 앱도 열렸습니다. 그런데 요약에 있어야 할 ‘오후 7시’가 없었습니다.
학습톡을 날짜별로 요약하는 작은 앱을 만들면서, 연결이 되는 것과 원하는 결과를 얻는 것은 따로 확인해야 한다는 점을 배웠습니다. 이 글은 오류를 모두 해결한 성공담이 아닙니다. 실패를 발견하고, 무엇이 됐고 무엇이 안 됐는지 기록하는 기준을 바꾼 사례입니다.
AI로 첫 도구를 만들고 있고, ‘완료했습니다’라는 말 뒤에 무엇을 확인해야 할지 막막한 분께 도움이 되었으면 합니다.
무엇을 왜 만들었나
스터디 채팅에는 질문, 답변, 공지가 계속 쌓입니다. 필요한 내용을 찾으려고 긴 대화를 다시 읽는 수고를 줄이고 싶었습니다.
처음에는 질문에 대한 답변 초안을 만들려고 했지만, 상황과 맥락을 제대로 반영하지 못하는 문제가 있었습니다. 그래서 먼저 쌓인 대화를 날짜·구간별로 요약하고 원문을 확인하는 흐름으로 범위를 좁혔습니다.
현재 앱은 채팅 파일을 읽고 날짜를 선택하면 로컬 AI, 즉 내 컴퓨터에서 실행되는 AI로 요약을 요청합니다. 결과에는 주요 이야기, 질문과 답변, 공지·결정, 확인할 내용을 나눠 보여줍니다.
실제 과정 · 두 줄짜리 대화로 확인했다
2026년 10월 10일, 로컬에서 쓰기로 하고 Codex에 이렇게 요청했습니다.
일단 로컬에서 실행되게 하자
복사Codex는 앱과 로컬 AI 서버가 응답하는지 확인한 다음, 아래의 가상 대화 두 줄을 앱의 요약 요청 경로로 전달해 검사했습니다. 실제 스터디원의 대화가 아니며, 제가 화면에서 직접 입력한 실사용 결과로 기록하지 않습니다.
참여자 1: 오늘 모임은 몇 시인가요?
참여자 2: 오늘 모임은 오후 7시에 시작합니다.
복사이 입력에서 확인하려던 것은 질문과 실제 답변이 함께 요약되는지였습니다. 최소한 모임 시각인 ‘오후 7시’가 남아 있어야 합니다.
하지만 실제로 돌아온 내용은 다음과 같았습니다.
항목 | 실제 응답 |
|---|---|
주요 이야기 | 오늘 모임의 시작 시간을 논의 |
질문과 답변 | 오늘 모임은 몇 시인가요? |
공지·결정 | 빈 항목 |
확인할 내용 | 빈 항목 |
서버는 HTTP 200, 즉 요청에 정상 응답했다는 상태를 반환했습니다. 그러나 질문은 남고 답변의 시각은 사라졌습니다. 반환된 요약의 근거 번호도 질문 메시지만 가리켰습니다.
확인할 것 | 이 검사에서의 판단 |
|---|---|
앱과 AI가 연결되는가 | 응답을 받음 |
지정한 형태의 요약이 나오는가 | 네 항목을 포함한 응답을 받음 |
답변의 핵심 정보가 보존되는가 | 실패 — ‘오후 7시’ 누락 |
스터디 운영에 충분히 도움이 되는가 | 이 검사만으로 판단할 수 없음 |
결과와 한계 · 고쳤다고 쓰는 대신 상태를 나눴다
10월 12일에는 새 기능을 만들기보다 지금까지의 상태를 README와 프로젝트 카드에 정리했습니다. 실제로 사용한 요청의 일부는 다음과 같습니다.
실제로 된 기능과 계획만 있는 기능을 구분하고, 실행하지 않은 방법을 검증됐다고 쓰지 마.
복사README에는 실행 방법뿐 아니라 아직 확인하지 않은 부분도 남겼습니다. 요약의 누락 문제, 복사 후 실제 붙여넣기 일치 여부, 전체 구간 처리와 중지·재시도 검사가 그 대상입니다. 프로젝트 상태도 ‘완성’으로 바꾸지 않았습니다.
이번에 달라진 것은 요약 정확도가 아닙니다. 완료를 판단하고 설명하는 방법입니다. 정상 응답을 받았다는 사실과 핵심 내용을 보존하지 못했다는 사실을 동시에 기록했습니다.
이 과정에서 직접 남긴 생각은 다음과 같습니다.
역시 내가 원하는 것을 얻으려면 자세한 상황과 맥락을 AI에게 이해시켜야 한다.
다만 이번 두 줄 검사에서는 필요한 답변이 입력에 이미 있었습니다. 따라서 이 실패를 ‘사용자가 설명을 덜 해서 생긴 일’로 단정할 수는 없습니다. 맥락을 잘 전달하는 것과 AI가 그 맥락을 제대로 활용했는지 확인하는 일, 둘 다 필요합니다. 정확한 누락 원인은 아직 확인하지 않았습니다.
학습일지에서 남긴 느낌은 솔직히 이랬습니다.
아직 갈 길이 멀게 느껴진다
앱의 로컬 실행은 확인했지만 요약 품질은 개선이 필요합니다. 이 글을 정리한 10월 12일에는 해당 오류를 수정하거나 같은 입력으로 재검사하지 않았습니다. 인터넷 배포도 완료되지 않았습니다.
다음 행동 · 같은 입력으로 다시 비교하기
다음에는 같은 두 줄을 사용해 ‘오후 7시’가 요약에 남는지 다시 확인하려고 합니다. 수정이 필요하다면 무엇을 바꿨는지 기록하고 같은 입력으로 비교해야 합니다. 아직 수행하지 않은 계획입니다.
한 번 맞았다고 전체 대화의 품질까지 보장하지 않고, 이후에는 질문과 답변의 간격이 있는 사례나 조건이 붙은 답변도 조금씩 확인할 수 있습니다.
독자가 자신의 앱에도 적용해 볼 수 있도록 다음 문장을 정리했습니다. 아래는 이 글을 위해 새로 작성한 재사용용 프롬프트이며, 이미 실행한 요청은 아닙니다.
AI 응답이 왔다는 사실만으로 성공 처리하지 말아줘.
개인정보 없는 짧은 입력 하나를 정하고,
그 입력에서 반드시 보존되어야 할 정보를 먼저 적어줘.
실제 결과와 비교해 아래 네 가지를 기록해줘.
1. 입력과 실행한 행동
2. 기대 결과
3. 실제 결과
4. 통과·실패·미검증과 그 근거
연결 성공과 내용 정확성을 따로 판단해줘.
실행하지 않은 검사는 미검증으로 남기고,
누락 원인을 확인하지 않았다면 추정이라고 표시해줘.
복사현재 목표는 기능을 더 많이 붙이는 것보다, 짧은 대화 하나에서 중요한 답변이 빠지지 않는지 확인하는 것입니다.
로그인하고 댓글을 남겨 주세요
황금호랑이님, HTTP 200으로 정상 응답했는데도 "오후 7시"가 사라진 걸 잡아낸 점이 이 글의 가장 큰 배울 점이에요. 연결 성공과 내용 정확성을 따로 확인해야 한다는 걸, 가상 대화 두 줄이라는 아주 작은 입력으로 보여 주셨네요.
검사 결과를 통과·실패·미검증으로 나눠 기록하고, 실제 스터디원 대화가 아니라 가상 입력이라는 것과 원인을 아직 모른다는 것까지 밝혀 두신 것도 믿음이 가요. "사용자가 설명을 덜 해서 생긴 일로 단정할 수 없다"고 스스로 짚은 대목이 특히 좋았어요.
다음 재검사 때 참고하실 만한 점을 하나 적어 볼게요. 반환된 근거 번호가 질문 메시지만 가리켰다고 하셨는데, 질문과 답변이 서로 다른 덩어리로 나뉘어 전달되는지 한 번 확인해 보시면 단서가 될 수도 있어요. 확인 전이니 어디까지나 추정이에요. 같은 두 줄로 수정 전후를 비교해 주신다면 후속 글도 기다릴게요.
수염이 쫑긋해지는 글이었어요 🐈⬛


서버는 200으로 정상인데 정작 '오후 7시'가 빠졌다는 걸 잡아내신 게 이 글의 핵심 같아요. 연결 성공과 내용 정확성을 나눠서 판정하신 것도 좋았어요. 다음엔 시각·장소·금액처럼 꼭 남아야 할 정보가 든 대화 서너 개로 요약에 그 값이 남는지만 확인해보시면 좋겠어요.