본문으로 건너뛰기

경험 자산화 챗봇 구현 - 실패기

가보자고

2026.10.20

경험 자산화 챗봇 구현 - 실패기 본문 이미지

소개

전에 목업까지 만들었던 것을 gatekit의 프로세스에 따라 구현하고자 했음

진행 방법

  1. gatekit task

    이 단계를 실행하니 다음과 같은 결과가 나왔고, 판단이 잘 안되서 그대로 진행하라고 함

작업을 8개로 나눴고, 4번에 걸쳐 진행돼요(1: 시작 화면과 뼈대 → 2: 기록 저장 → 3: 대화·특성 분석·활동 추천·내 데이터를 동시에 → 4: 진행 표시줄과 '별로예요'). 검사 도구는 5개 연결을 '근거 없음'으로 보고 빼면 2번에 끝난다고 하지만, 실제로 3번째 묶음이 모두 2번째의 '기록 저장' 기능을 써서 빼면 안 돼요. 이대로 쓸까요?
  1. gatekit. gate

    완료 기준에 대해서도 세부 내용을 잘 모르겠어서, 그대로 진행하라고 함

  1. gatekit: build

    중간에 약간의 오류가 있었지만, 수정해서 완료 기준에 반영한 후 빌드 완료. 고친 관ㄹ 기준 승인 여부를 물어봤는데, 이것도 정확히 모르겠으므로 승인하고 넘어감

    한국어로 된 문자 메시지의 스크린샷

  2. gatekit:verify

    클로드와 코덱스 모두 통과했다고 함. 중간에 코덱스를 돌리는 과정에서 코덱스 보호구역이 테슽 프로그램을 띄우지 못하게 막는 등의 몇 가지 문제가 있었지만, 클로드가 대안을 찾아서 결국 검증 통과함

    휴대전화 화면에 표시된 한국어 스크린샷

  1. 실제 클로드 페이지에서 직접 써 보기 - 망함

    실제 Claude 페이지에서 직접 써 보기예요. 두 채점자 모두 컴퓨터 안의 가짜 환경에서 확인한 거라, 실제 화면 모양, 허락 창, 저장, 사용량 한도는 여전히 아무도 보지 않았어요. 
    앱 페이지
    를 직접 열어 끝까지 써 보시거나, 공유 설정을 바꿔 다른 분께 부탁해 주세요. 써 보시고 이상한 점을 알려 주시면 고칠게요.

내가 만들려는 것은 사용자가 경험을 입력하면, 암묵적 특성을 분석해 주고, 이에 맞는 수익활동(재능마켓에 올릴만한)을 추천하는 것이다. 그런데, 대화를 진행해 보니 결과가 영 마음에 들지 않게 나왔다.

기능적으로는 작동 잘 하는데, 활동 추천 결과가 엉망이야. 어떻게 하면 좋을까? 활동 추천 결과에 대한 내 평가는 이래. ----  특성을 너무 협소하게 도출해서 활동으로 연결할 것이 부족한 느낌이야. 경험 중에 AI 사용 능력도 있는데 왜 이렇게 나왔는지 모르겠어. 내 경험을 거의 그대로 활동으로 만든거 같아. 상품화를 무시하고.

그래서 다시 돌리고 있다...

결과와 배운 점

  • gatekit의 단계를 따라가면서, 어떤 과정이 필요한지를 체험으로 알게 된 것이 가장 큰 배운점이다.

  • 아쉬운 점은 챗봇의 맥락이나 논리를 충분히 설계하지 못해서, 모든 단계를 기술적으로는 다 통과했는데도, 결과가 맘에 안 들어서 다시 구상을 해야 한다는 점이다. 클로드 프로젝트에서도 여러 차례 돌렸던지라 성능이 조금씩 나아지는 듯 했는데 중간에 수정한 것이 또 결과의 품질을 깎아먹은 듯 하다.

  • 어떤 형식으로 만들 것인지도 문제다. LLM 사용 비용을 내가 부담하지 않게 하는 방법으로, 클로드가 아티팩트를 사용하도록 추천했는데, 사용자 입장에서는 좀 불편하다.

이후에는 챗봇 로직이나 맥락 정보를 좀 더 보완하려 한다.

도움 받은 글 (옵션)

스터디장님의 gatekit

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.20

가보자고님, 실패기를 솔직하게 남겨 주셔서 감사해요. 특히 두 채점자가 모두 통과했는데도 실제 Claude 페이지에서 써 보니 활동 추천이 "경험을 거의 그대로 활동으로 옮긴" 수준이었다는 대목이 핵심 같아요. 검증은 가짜 환경에서 통과했어도 결과 품질은 따로 봐야 한다는 걸 보여 주는 사례예요.

다음엔 "상품화 가능성"처럼 추천 품질을 가르는 기준을 완료 기준에 직접 넣어 보면 어떨까요? 중간 수정이 품질을 깎았다면 수정 전후 결과를 나란히 두고 비교해 보는 것도 좋아 보여요. 꼬리 탁! 치고 응원하고 갈게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기