본문으로 건너뛰기

[실패사례]카톡 답변을 자동으로 쓰려다, 대화 요약부터 다시 만들었습니다

황금호랑이

2026.10.09

[실패사례]카톡 답변을 자동으로 쓰려다, 대화 요약부터 다시 만들었습니다 본문 이미지

title: “카톡 답변을 자동으로 쓰려다, 대화 요약부터 다시 만들었습니다”
date: 2026-10-09
summary: “학습톡 추천 답변의 맥락 문제를 발견하고, 채팅 402개를 날짜별로 나눠 근거 원문과 함께 요약하는 첫 버전으로 방향을 바꾼 과정.”
종류: 사례
공개: false
tags: [“Codex”, “카카오톡”, “학습톡”, “대화요약”, “시행착오”]

카톡 질문에 답변 초안을 만들어주는 도구를 만들기 시작했습니다. 그런데 답변이 생성되는 것과 실제로 도움이 되는 것은 달랐습니다. 몇 차례 방향을 고친 끝에, 먼저 쌓인 대화를 날짜별로 요약하고 원문을 확인하는 도구를 만들었습니다.

이 글은 자동 응대 서비스를 완성한 성공담이 아니라, AI로 처음 만드는 과정에서 사용 장면을 다시 정하고 작은 기능을 실제로 확인한 기록입니다. 채팅방 운영이나 스터디 질문 응대를 돕는 도구를 만들고 싶은 분께 참고가 되면 좋겠습니다.

무엇을 왜 만들려고 했나요?

지피터스 스터디에서 버디로 활동하며 대화를 유의미하게 관리하고 싶었습니다. 질문에 답하고, 모임 공지를 챙기고, 유용한 AI 활용법이나 새로운 아이디어도 남기고 싶었습니다.

처음에는 스터디장과 질문을 나눠 처리하는 것까지 생각했습니다. 하지만 우선 해결하고 싶은 불편은 답변 준비였습니다. 질문이 오면 제가 직접 내용을 찾고 정리해야 했습니다.

실제로 AI에게 이렇게 말했습니다.

질문이 왔을 때 답변하기 위해 내가 직접 찾고 수정해야하는 불편함
먼저 답변 초안이 정리된 형태로 제공되면 확인하고 일부 수정 바로 답변 가능했으면 좋겠다

개발 도구는 Codex를 사용했습니다. 제가 원하는 상황을 설명하면 Codex가 별도의 앱 폴더에 코드를 작성하고 실행을 검사하는 방식이었습니다. 학습 기록을 모으는 학습허브와 앱 폴더는 분리했습니다.

처음에는 답변 초안을 만들었습니다

첫 흐름은 간단했습니다.

채팅 파일 불러오기 → 질문 선택 → AI 초안 생성 → 수정 → 복사

로그인 화면 없이 내보낸 채팅 파일을 읽고, 실제 AI가 답변을 생성하게 했습니다. 채팅방으로 자동 전송하지 않고 제가 확인하게 했습니다.

화면에서 초안은 나왔습니다. 하지만 제가 원하는 답변과는 달랐습니다.

답변 초안의 내용이 전혀 맥락을 이해 못하고 작성되고 있다.

당시 구현은 선택한 질문 한 문장과 직접 넣은 참고 내용만 AI에 전달했습니다. 앞서 어떤 이야기를 했는지, 이미 안내된 내용이 있는지를 놓치고 있었습니다.

AI는 이를 고치려고 질문 앞뒤의 대화를 함께 읽도록 바꿨습니다. 과거 채팅 파일에서는 질문 뒤에 실제 답변이 있어 초안이 나아질 수 있었습니다. 그런데 여기에도 문제가 있었습니다.

“실시간이라면 뒤의 메시지가 없잖아요?”

제가 만들려던 것은 질문이 올라왔을 때 답변을 준비하는 도구였습니다. 과거 기록의 뒤쪽에 있는 정답을 참고하는 것과는 조건이 달랐습니다.

그래서 이렇게 물었습니다.

실시간의 경우 질문을 했는데 뒤에 메세지가 없는 상황일거 아냐?

과거 파일을 잘 읽는 검사만으로 실시간 응대에 도움이 된다고 말할 수 없었습니다. 질문이 올라온 시점까지의 대화와 제가 아는 상황을 함께 이해해야 했습니다.

추천 답변의 방향도 다시 설명했습니다.

답변 초안보다 질문에 대한 상황과 답변 가이드 입력 또는 너와 채팅대화 하면서
정확한 상황을 인지하는 상황에서
그걸 기반으로 너가 자료를 찾든 지시사항을 처리하든 해서
답변 초안을 작성하는 로직으로 바꾸는게 나을거 같다.

예를 들어 “실습을 못 따라가겠다”는 질문이라도 설치에서 막힌 것인지, 용어가 어려운 것인지에 따라 답이 달라집니다. 질문 하나를 골랐다고 바로 답을 쓰기보다, 저와 AI가 상황을 확인하고 필요한 자료를 살핀 뒤 답변을 준비하는 과정이 필요했습니다.

카톡의 메세지 답변 AI의 추천 가이드를 받고 싶어 만든 mvp 였는데 완전 실패작이다.
전혀 맥락을 이해 못하고 있다.

어디인가요? 못 찾고 있어요..의 질문은 앞에 지난 공지사항에 있던 가이드 링크정보가
새로운 공지로 바뀌면서 보여 지지 않아 채팅방에 새로 들어온 분들은 바로 볼수 없어 생기는 문제로
스터디장님이 만들어 제공해주는 템플릿 링크 정보가 안보인다는 질문이다.

한국어 문자 메시지 스크린샷

그래서 날짜별 요약부터 만들기로 했습니다

실시간으로 돕기 위해서는 어떤 메시지가 질문인지 구분하는 일도 필요했습니다. 상황 확인 대화, 자료 찾기, 추천 답변까지 한 번에 만들면 첫 버전이 커질 것 같았습니다.

먼저 만들 대상을 다시 좁혔습니다.

메세지에 대한 ai 자동 분류가 먼저 선행되어져야 할거 같다.
이건 복잡하니 후순위로 두고
전체 메세지를 구간별로 요약하는 것을 먼저 만들어보는 건 어때?

AI가 날짜별로 나누는 방법을 제안했고, 저는 “응”이라고 답했습니다. 자동 분류와 추천 답변을 없앤 것이 아니라 순서를 뒤로 옮겼습니다.

새 흐름은 다음과 같습니다.

  1. 카카오톡에서 내보낸 CSV 파일을 불러옵니다. CSV는 대화를 표 형태로 담은 파일입니다.

  2. 날짜 목록에서 읽고 싶은 날을 고릅니다.

  3. ‘이 날짜 요약하기’를 누릅니다.

  4. 주요 이야기, 질문과 답변, 공지·결정, 확인할 내용을 읽습니다.

  5. 요약 옆의 ‘원문 #번호’를 눌러 실제 메시지와 비교합니다.

요약할 때는 AI가 질문에 새 답변을 만들어 넣지 않도록 했습니다. 실제 대화에 나온 답을 정리하고, 답이 없다면 “이 구간에서는 확인되지 않았다”고 표시하게 했습니다. 다른 날짜에 답변이 있을 수 있기 때문입니다.

실제로 어디까지 확인했나요?

제공한 채팅 파일은 402개 메시지였습니다. 날짜가 없는 기록도 따로 포함해 42개 날짜 묶음으로 표시됐습니다.

Codex의 브라우저 실행 검사에서는 그중 한 날짜의 12개 메시지를 실제 AI로 요약했습니다. 다시보기 제공 예정이라는 안내는 요약에 반영하고, 정확한 공개 시각은 확인되지 않은 내용으로 구분했습니다. 요약의 근거 번호를 누르면 해당 원문이 펼쳐지는 것도 확인했습니다.

확인한 것

결과

채팅 파일 불러오기·날짜별 구분

402개 메시지, 날짜 없는 기록 포함 42개 묶음 표시

한 날짜의 실제 AI 요약

네 항목으로 요약 생성

요약과 근거 연결

근거 번호를 누르면 해당 원문 표시

전체 날짜 일괄 실행

기능은 작성했지만 모든 구간을 끝까지 실행한 검사는 아직 안 함

요약 복사

화면에는 성공 표시가 나왔으나 실제 붙여넣기 일치는 미검증

스크린샷 2 넣을 자리 — 기존 화면 캡처 있음, 게시용 이미지 미첨부
날짜 목록과 네 가지 요약 항목이 함께 보이는 화면.
설명: 402개 메시지가 날짜 묶음으로 나뉘고 선택한 날짜의 요약이 표시된 모습. 기존 캡처를 사용할 때는 대화 내용의 공유 가능 범위를 확인하고 필요한 부분을 가립니다.

한국어로 된 웹사이트의 홈페이지

현재 요약은 새로고침하면 사라집니다. 실시간 채팅 연결, 자동 분류, 공동 질문 처리, 답변 준비 대화는 아직 후속 작업입니다. 앱은 로컬에서 실행했고 배포하지 않았습니다. 실제 응대 시간이 줄었는지, 스터디원에게 도움이 됐는지도 아직 측정하지 않았습니다.

이 또한 결과가 만족스럽지 않았습니다.
역시 대충 요청한 결과에 대한 댓가인거 같습니다^^
자세한 근본 문제를 AI와 대화하면서 장기적으로 개선해가야 할거 같습니다.


이 과정에서 남긴 기준

이번 과정에서는 “AI가 결과를 내놓았다”와 “내 상황에 도움이 된다”를 따로 확인해야 한다는 점이 드러났습니다.

처음에는 초안 생성·수정·복사가 작동하면 될 것 같았지만, 실제로는 AI가 어떤 상황을 알고 쓰는지가 더 중요했습니다. 또 과거 기록으로 검사할 때는 실시간이라면 볼 수 없는 내용을 미리 참고하고 있지 않은지도 살펴봐야 했습니다.

비슷한 도구를 만든다면 다음 문장을 검사 요청에 덧붙일 수 있습니다. 아래는 실제 사용한 프롬프트가 아니라, 이번 경험을 바탕으로 정리한 재사용용 문장입니다.

내가 실제로 쓰는 순간을 기준으로 검사해줘.
그 순간에 아직 알 수 없는 정보를 미리 사용하지 마.
AI가 생성한 내용과 원문에서 확인한 사실을 구분해줘.
작동한 기능, 실제로 도움이 됐는지, 아직 검사하지 못한 것을 따로 알려줘.

다음에는 날짜 몇 개를 직접 골라 원문과 요약을 비교하려고 합니다. 중요한 질문이나 공지가 빠지지 않는지, 불확실한 내용이 확정된 것처럼 쓰이지 않는지부터 확인할 계획입니다. 그 다음에 이 대화 이해를 바탕으로 자동 분류와 저와의 대화를 통한 추천 답변을 이어가려 합니다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.09

황금호랑이님, 안녕하세요! 실패를 실패로 끝내지 않고 "무엇이 도움이 되는 상황인가"를 다시 정의해 가는 과정이 솔직하게 담겨 있어서 오래 읽었어요.

"실시간이라면 뒤의 메시지가 없잖아요?"라고 물어서, 과거 채팅 파일에서는 답변이 뒤에 있어 초안이 좋아 보였던 착시를 잡아내신 부분이 이 글의 핵심이라고 느꼈어요. 그리고 "어디인가요? 못 찾고 있어요"가 사실은 공지가 바뀌면서 가이드 링크가 밀려난 문제라는 설명이, 질문 한 문장만으로는 답을 못 쓰는 이유를 잘 보여 줘요. 후반의 "한 날짜 실제 AI 요약은 확인, 전체 일괄 실행과 복사 일치는 미검증"처럼 확인한 것과 못 한 것을 표로 나눈 점도 믿음이 갔습니다.

참, 본문 중간에 "스크린샷 2 넣을 자리" 안내 문구와 글머리의 title·date 같은 메타 정보가 그대로 남아 있는 것 같아요. 한번 확인해 보시면 좋겠어요. 날짜별 요약을 원문과 비교하는 다음 후기도 기다릴게요. 고롱고롱… 이런 글 보면 기분 좋아져요 ✨

아루나 프로필 이미지
아루나2026.10.13

실패를 실패라고 제목에 그대로 쓰신 게 멋있어요. 과거 기록으로 테스트하면 질문 이후의 정답까지 AI가 봐버린다는 함정은 저도 놓쳤을 것 같아요. 요약이 새로고침하면 사라진다고 하셨는데, 하루치 요약을 파일로 저장하는 것부터 붙이면 스터디원들한테 바로 보여줄 수 있겠어요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기