AI로 만든 오답노트 앱, 시험 문제를 직접 만들어 AI 읽기 정확도를 점검한 기록
2026.11.19
시도하고자 했던 것과 그 이유
자격증 공부를 하면서 틀린 문제를 노트에 옮겨 쓰는 데 시간을 가장 많이 썼습니다. 그래서 틀린 문제를 사진으로 찍으면 문제와 보기를 텍스트로 옮기고, 유형을 붙이고, 해설까지 붙는 오답노트 웹앱 '올인원AI'를 만들었습니다. 개발은 AI 코딩 도구와 함께 했고, 직접 만든 서비스라는 점을 먼저 밝혀 둡니다.
만들고 나서 가장 걱정된 건 "AI가 문제를 제대로 읽는가"였습니다. 수능·공무원·토익·자격증처럼 시험마다 문제 모양이 달라서, 한두 장 시험해 본 것만으로는 믿기 어려웠습니다.
어떤 도구를 사용했고, 어떻게 활용했나
1. 문제 읽기와 해설: OpenAI API. 사진을 읽어 문제·보기·손으로 표시한 답을 구조화된 JSON으로 받고, 해설은 따로 요청합니다.
2. 서버: Cloudflare Pages Functions와 D1. 하루 AI 비용 상한을 걸어 두고, 넘으면 요청을 막습니다.
3. 점검 방법: 실제 기출문제를 쓰지 않고, 시험별 형식을 흉내 낸 문제를 직접 만들어 이미지로 렌더링했습니다. 경찰 O/X, 정보처리기사 C 코드, 토익 Part 6·7, 수능 국어 2단 편집, 표가 있는 사회 문제, 정답표가 먼저 나오는 경우, 연필 낙서가 있는 수학 문제, 흐린 사진 등입니다.
4. 이 이미지들을 운영 서버에 올려 읽기 → 분류 → 정답 연결 → 해설까지 돌리고, 결과를 정답과 비교했습니다. 네 번에 걸쳐 돌린 API 비용은 모두 합쳐 약 1.4달러였습니다.
결과
· 정답은 회차마다 24/24, 33/33, 33/33, 17/17로 모두 맞았습니다.
· 하지만 정답이 맞아도 고칠 것이 꽤 나왔습니다.
과정 중에 겪은 시행착오
· AI가 맞춤법을 "고쳐" 버리는 문제: 보기에 일부러 틀린 맞춤법(어떻해)이 있는 문제에서 AI가 어떻게로 고쳐 옮겨, 정답이 두 개가 되는 보기가 생겼습니다. 읽기 지시문에 "인쇄된 글자를 고치지 말 것"을 넣어 해결했습니다.
· 비슷한 용어를 바꿔 읽는 문제: 사잇소리와 사이시옷처럼 비슷한 문법 용어를 바꿔 적는 경우가 있었습니다. 같은 방식으로 지시문을 고쳤습니다.
· 정답표가 다른 과목 칸에 덮어써지는 문제: 국어와 영어 정답표를 연달아 올리면 같은 번호의 영어 정답이 국어 정답을 덮어썼습니다. 저장 키에 과목을 넣어 고쳤습니다.
· 분류가 너무 넓게 잡히는 문제: 한국사능력검정시험·공인중개사·컴퓨터활용능력 문제가 모두 "기타"로 떨어졌습니다. 분류표에 시험을 추가했습니다.
· 아직 남은 한계: 드물게 쓰는 글자(케잌)를 케익으로 읽는 경우가 있습니다.
배운 점과 팁
· 정답만 맞는지 보면 문제를 놓칩니다. 보기 텍스트, 분류, 정답 연결을 따로따로 비교해야 버그가 보였습니다.
· 기출문제를 쓰지 않아도, 시험 "형식"만 흉내 낸 문제로 대부분의 문제를 찾을 수 있었습니다. 저작권 걱정도 덜었습니다.
· 같은 사진을 다시 돌리는 것보다 새로운 모양의 문제를 만드는 쪽이 같은 비용으로 더 많은 버그를 찾았습니다.
도움이 필요한 부분
손글씨를 빼고 인쇄된 문제만 옮기도록 만들었는데, 실제 사용자 사진은 제가 만든 이미지보다 훨씬 다양할 것 같습니다. 써 보시고 잘 못 읽는 문제 모양이 있으면 알려 주시면 고치겠습니다. 가입 없이 사진 5장까지 써 볼 수 있습니다.
https://odapnoteai.com/?utm_source=gpters&utm_campaign=case1
앞으로의 계획
안드로이드 앱 출시를 준비하고 있고, 간호사·전기기사처럼 아직 "기타"로 분류되는 시험을 추가할 계획입니다.




안녕하세요, 뽀짝이예요! 정답이 회차마다 24/24, 33/33으로 다 맞았는데도 "정답만 맞는지 보면 문제를 놓친다"며 보기 텍스트·분류·정답 연결을 따로 비교하신 점이 인상 깊었어요.
특히 일부러 틀린 맞춤법(어떻해)을 AI가 어떻게로 고쳐 옮기는 바람에 정답이 두 개가 되는 보기가 생겼다는 사례는, 시험 문제라는 도메인이 아니면 발견하기 어려운 함정이네요. "인쇄된 글자를 고치지 말 것" 한 줄로 해결하신 것도 깔끔합니다.
기출 대신 시험 형식만 흉내 낸 문제로 약 1.4달러에 이 정도 버그를 잡으셨다는 점도 다른 분들께 큰 참고가 될 것 같아요. 케잌→케익 한계도 이어서 다듬어 가시길 응원합니다. 고롱고롱… 이런 꼼꼼한 점검 기록 보면 기분 좋아져요 ✨