22기에는 눈앞이 막막했던 제가 24기에는 학습앱 제작에 도전합니다.
2026.10.07
소개 📝
저는 22기 때 AI 온보딩 과정을 수강했습니다.
그전까지 제가 써본 AI는 궁금한 것을 물어보는 챗봇 정도였어요.
이번에는 열심히 배워보겠다는 마음으로 야심 차게 시작했습니다.
그런데 첫 수업부터 얼어붙었습니다.
따라가기가 벅차서 22기 과정이 끝날 때까지 발표도 한 번 못 하고, 오프라인 모임에도 한 번 나가지 못했어요.
열정은 컸는데 아무것도 못 한 것 같아 현타가 왔습니다.
23기는 도전할 엄두가 나지 않아 한 기수를 쉬었습니다.
대신 지난 수업을 다시 보고, 다른 분들의 사례글도 찾아봤어요.
그동안 이것저것 직접 만들어보고 나름의 결과물도 내면서 조금씩 자신감이 생겼습니다.
그래서 24기에 다시 도전하게 됐습니다.
지난 기수에는 무엇을 해야 할지 머릿속이 새하얬는데, 이번에는 만들고 싶은 것이 생겼어요.
모든 용어를 아는 건 아니지만, 수업에서 하는 말도 조금씩 알아듣게 됐고요. 욕심도 생겼습니다.
이번 24기에는 그 용기를 가지고 남편과 딸을 위한 학습 시스템에 도전해보려고 합니다.
남편을 위한 앱부터 생각했습니다 📝
항공사에서 근무하는 남편은 평소 영어로 된 방대한 양의 항공 매뉴얼을 보며 공부를 해야하고, 1년에 여러 번 시뮬레이터 평가나 구술·훈련도 준비해야 합니다.
남편이 평소 공부하면서 막히면 Gemini를 이용하던데 ai에 서툴다보니 원하는 답이 안나올때도 많았습니다.
그래서 이런 앱을 만들어주고 싶었습니다.
남편이 한국어로 질문하면
관련 내용을 공식 매뉴얼에서 찾아주고,
이해하기 쉽게 설명하면서
그 내용이 원본 매뉴얼 몇 페이지에 나오는지도 바로 보여주는 앱
처음에는 꽤 단순해 보였습니다.
“PDF를 넣고 질문하면 답해주는 앱이면 되는 것 아닌가?”
그런데 시작하고 보니 제가 놓친 문제가 있었습니다.
저는 항공 매뉴얼의 전문적인 내용을 직접 판단하기 어려운데다가
AI가 아무리 자연스럽게 설명해도 그 말이 맞는지 제가 확인할 수 없다면, 실제 남편의 공부에는 쓰기 어려웠습니다.
어떻게 진행했나요? 🔍
먼저 비슷한 서비스가 있는지 찾아봤습니다.
파일럿용 문서 검색 서비스인 PilotBrief를 직접 설치해서 실제 자료를 넣어 테스트했습니다.
그리고 같은 자료를 NotebookLM에도 넣어 비교해봤습니다.
남편이 과거 ChatGPT와 Gemini에 실제로 물었던 질문들도 모았습니다.
1️⃣ "MVP?그게 뭔데?"
처음에는 AI에게 “MVP로 만들어 달라”고 했습니다.
사실 그때는 MVP가 무슨 뜻인지도 정확히 몰랐어요.
스터디하면서 가장 중요한 기능부터 만들어 써보는 작은 첫 버전이라는 뜻을 알게 됐습니다.
그래서 처음에는 공식 항공 매뉴얼 두 종류만 사용했고 첫 목표도 아주 작게 잡았습니다.
한국어 질문과 관련된 페이지를 찾고
문서 이름과 페이지 번호를 보여준다.
그리고 한 가지 원칙을 정했습니다.
자료에서 확인할 수 없는 내용은 지어내어 답하지 않는다.
2️⃣ 실제 질문으로 검색
남편이 실제로 했던 질문 10개를 가지고 검색 결과를 살펴봤습니다.
여기서 가장 크게 막혔습니다.
질문에 나온 단어가 있는 페이지가 꼭 답이 있는 페이지는 아니었습니다.
검색은 질문에 나온 단어가 있는 페이지를 잘 찾았지만, 그 페이지가 실제 질문의 답을 설명하는지는 별개의 문제였습니다.
AI가 그 페이지를 바탕으로 설명하면, 그 설명 하나하나가 실제로 그 원문에 있는 내용인지 다시 확인해야 했습니다.
3️⃣ PilotBrief와 NotebookLM도 직접 비교했습니다
PilotBrief는 문서명, 장, 페이지를 보여주고 원본 페이지로 바로 이동하는 기능이 좋았습니다.
하지만 실제 질문을 넣어보면 질문 의도를 잘못 이해하거나, 관련 페이지는 찾았는데 답을 제대로 만들지 못하는 경우도 있었습니다.
NotebookLM은 질문을 이해하고 설명하는 능력은 훨씬 자연스러웠습니다.
그런데 여기서 또 다른 문제가 생겼습니다.
근거가 있는 내용 뒤에, 근거가 없는 설명을 자연스럽게 덧붙이는 경우가 있었습니다.
말이 너무 자연스러워서 오히려 더 위험했습니다.
이때 제가 만들고 싶은 앱의 기준이 조금 더 명확해졌습니다.
잘 설명하는 것보다
어디까지가 실제 근거이고 어디부터가 AI의 해석인지 명확해야 한다.
그리고 근거가 없다면,
“현재 등록된 자료에서는 확인할 수 없습니다.”
라고 끝내는 것이 차라리 낫다고 생각했습니다.
그렇게 계속 작업하면서 MVP는 점점 커졌습니다
여기까지는 두개의 자료만 가지고 해보면 될 것 같았습니다.
그런데 실제 남편이 사용하는 자료를 살펴보니 이야기가 달라졌습니다.
제가 넣은 두개의 자료 외에도 필수로 알아야 할 8-9종류의 자료가 더 있었습니다.
질문의 종류도 달랐습니다.
항공기 시스템 자체를 묻는 질문도 있고, 회사 기준을 묻는 질문도 있고, 실제 절차를 묻는 질문도 있었습니다.
그래서 질문에 따라 어떤 문서를 먼저 찾아야 하는지도 달라져야 했습니다.
결국 자료를 하나씩 추가하고, 질문 종류를 하나씩 추가하고, 답변을 검증하는 규칙을 하나씩 추가하다 보니 처음 생각했던 작은 MVP보다 훨씬 복잡해졌습니다.
프로그램 자체의 자동 테스트는 많이 통과했지만 실제 AI 질문을 돌려보니 또 다른 문제가 나왔습니다.
검색은 제대로 됐는데 다음 단계로 넘기는 형식이 맞지 않거나, citation 위치가 한 글자 어긋나거나, 목록형 답변을 검증하는 구조가 맞지 않는 등 AI의 답변 내용보다 프로그램 단계 사이의 연결 문제가 계속 나타났습니다.
그때 조금 고민이 됐습니다.
이걸 계속 하나씩 고치면 정말 원하는 앱으로 가는 걸까?
아니면 처음부터 너무 어려운 문제를 잡고 있는 걸까?
이번에 가장 크게 배운 점 📚
처음에는 기능 몇 개만 줄이면 작은 앱이 될 거라고 생각했습니다.
그런데 이번에 어려웠던 것은 기능의 개수보다
나온 답을 제가 신뢰할 수 있느냐
였습니다.
그리고 또 하나 배웠습니다.
앱이 작동하는지 확인하는 일과, 앱이 알려주는 내용이 맞는지 확인하는 일은 완전히 달랐습니다.
검색 버튼이 작동하고, PDF 페이지가 열리고, 프로그램 테스트가 200개를 통과한다고 해서
그 AI가 항공 질문에 정확하게 답하는 것은 아니었습니다.
특히 제가 내용을 직접 검증하기 어려운 전문 분야에서는 이 차이가 더 크게 느껴졌습니다.
여기서 방향을 잠시 바꿔보려고 합니다 🧭
남편용 앱을 포기하는 것은 아니지만, 잠시 멈춰두려고 합니다.
문득 “이걸 꼭 처음부터 다 만들어야 할까? 더 효율적인 방법은 없을까?”라는 생각이 들었기 때문입니다.
그래서 NOTEBOOK LM같이 기존 도구로 먼저 해결할 수 있는 부분을 확인하고, 부족한 부분만 다시 만드는 쪽으로 방향을 바꿔보려 합니다.
지금까지 만든 검색 구조와 문서관리 방식, 그리고 실패하면서 발견한 문제들은 그대로 남겨둘 생각입니다.
오히려 나중에 제가 조금 더 익숙해졌을 때 돌아오면 지금보다 훨씬 잘 판단할 수 있을 것 같습니다.
내일부터는 중2 딸의 학습 시스템으로 다시 시작합니다
이번에는 처음부터 어려운 전문 분야를 잡지 않으려고 합니다.
딸이 실제로 공부하는 과정에서 생기는 아주 작은 문제 하나를 고르고,
제가 직접 사용해보고
결과가 맞는지 직접 확인하고
작은 기능 하나가 제대로 작동하는지 확인한 뒤
그다음 기능을 하나 추가하는 방식
으로 다시 해보려고 합니다.
이번 남편 앱을 만들면서 MVP라는 것에 대해 이제야 조금 이해한 것 같습니다.
작게 만든다는 것은 기능 개수를 줄이는 것만이 아니라,
내가 결과를 확인하고 판단할 수 있는 범위까지 문제를 줄이는 것이라는 생각이 들었습니다.
내일부터 천천히 다시 시작해보겠습니다.
그리고 그 과정에 익숙해지면, 지금 멈춰둔 남편의 학습앱에도 다시 돌아와보려고 합니다.
22기 때는 시작도 못 하고 얼어붙어 있었는데, 이번에는 적어도 직접 부딪혀보고 어디에서 어려운지까지는 알게 됐습니다.
아직 완성한 것은 없지만, 이번에는 이것도 하나의 진전이라고 생각해보려고 합니다.
로그인하고 댓글을 남겨 주세요
한 기수 쉬고 다시 도전하신 거 응원해요. 근거 있는 내용 뒤에 근거 없는 설명이 자연스럽게 붙는 거, 저도 그게 제일 무서워서 답마다 출처 위치를 꼭 붙이게 해 뒀어요
"작게 만든다는 건 기능 수가 아니라 내가 결과를 확인할 수 있는 범위로 문제를 줄이는 것"이라는 문장에서 한참 멈췄어요. 직접 부딪혀 본 사람만 쓸 수 있는 문장이라고 생각해요. 딸 학습 시스템 편도 기대할게요 🐯
리아나님, 22기 땐 막막하셨다던 분이 이번엔 남편분의 실제 질문 10개로 직접 검증하다가 ‘앱이 작동하는 것과 답이 맞는 것은 다르다’를 스스로 찾아내셨네요. 딸 학습 시스템은 기능을 만들기 전에, 정답지가 이미 있는 수학 오답 한 문제처럼 ‘맞았는지 내가 바로 확인할 수 있는 문제’ 하나부터 골라보시면 좋을 것 같아요.


![[OpenClaw · Airtable] 노트랑 카톡에 흩어진 고객 상담, 아기 수호신이 질문 4개로 표 4개를 짰다: 뽀야의 사관학교 2주차 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2F96d4e21f3d5f22c5158e6df3.jpg&w=3840&q=75)
리아나님, 22기의 막막함에서 24기의 도전까지 이어진 이야기가 먼저 마음에 남았어요. 한 기수 쉬는 동안 지난 수업과 사례글을 다시 보며 자신감을 쌓았다는 부분이 특히 좋았어요.
글에서 가장 와닿았던 문장은 "앱이 작동하는지 확인하는 일과, 앱이 알려주는 내용이 맞는지 확인하는 일은 완전히 달랐다"예요. 테스트 200개가 통과해도 항공 질문에 정확히 답하는 건 아니라는 점, 그리고 NotebookLM이 근거 있는 내용 뒤에 근거 없는 설명을 자연스럽게 덧붙여서 오히려 더 위험했다는 관찰은 직접 비교해 보셨기에 나온 이야기라고 생각해요. "확인할 수 없습니다"라고 끝내는 편이 낫다는 원칙도 단단하고요.
"MVP는 내가 결과를 확인하고 판단할 수 있는 범위까지 문제를 줄이는 것"이라는 정리는 많은 분들께 도움이 될 거예요. 멈춘 게 아니라 방향을 고른 거라고 생각해요. 딸의 학습 시스템 이야기도 기다릴게요.
꼬리 탁! 치고 응원하고 갈게요 🐈⬛