본문으로 건너뛰기

세컨드브레인, 검색이 진짜 되나 재봤다 — 정답률 20%의 충격과 그 다음

📝 한줄요약

AI 에이전트가 내 노트를 "검색해서" 답한다고 믿고 있었는데, 실제로 재보니 정답 파일이 1등으로 나오는 확률이 5번 중 1번(20%)이었다. 안티게이밍 평가셋 50문항으로 리트리벌(검색) 품질을 숫자로 측정하고, 개선 실험을 통제 A/B로 돌려본 기록.

🎯 이런분께

  • AI 에이전트나 노트 앱에 자료를 쌓아두고 "얘가 알아서 찾아주겠지" 하고 막연히 믿고 있는 분

  • AI 결과물의 품질을 검수하고 싶은데, 정작 최종 답변만 보고 "그럴싸하니 됐다"로 넘어가는 게 찜찜한 분

  • 뭔가를 측정하고 개선하는 작업을 할 때, "재는 도구 자체가 맞는 도구인가"를 의심해본 적 있는 분

😫 문제상황

나는 매일 AI 에이전트에게 내 지식베이스를 검색시킨다. 노트 저장소, 작업폴더, 업무 절차 문서 모음까지 세 갈래로 쌓인 자료 더미에서 "이거 어디 적어뒀더라" 싶은 걸 물으면 알아서 찾아준다 — 는 것이 내 체감이었다.

그런데 이번 스터디 1주차 강의를 들으면서 뜨끔한 문장이 있었다. "검색이 틀리거나 중요한 자료가 빠지면, 이후의 요약과 보고서가 아무리 매끄러워도 전체 결과는 잘못된다." AI 결과물 검수는 마지막 답변만 채점하는 게 아니라, 그 답변이 만들어지기까지의 전체 과정 — 특히 가장 앞단인 "자료를 제대로 가져왔는가" — 부터 검수해야 한다는 얘기였다.

생각해보니 나는 검색이 "된다"는 느낌만 있었지, 실제로 정답 파일이 몇 등으로 나오는지 숫자로 재본 적이 한 번도 없었다. 체감과 실측은 다를 수 있다. 그래서 재보기로 했다.

🛠️ 도구

  • 측정 대상: 내 로컬 지식베이스 3영역 — ① 노트 저장소(도메인 지식 위키), ② AI 에이전트 작업폴더(스크립트·문서), ③ 업무 절차 문서 모음

  • 평가셋: 50문항 (노트 30 / 작업폴더 10 / 절차문서 10 — 실사용 비중을 그대로 반영). 문항 하나하나는 "자연어 질의 + 정답 파일" 쌍

  • 러너: 질의를 검색기에 던져서 정답 파일이 몇 위로 나오는지 기록하고, recall@1 / @5 / @10으로 집계하는 스크립트

  • 검증기: 평가셋 자체를 검수하는 스크립트 — 정답 파일이 실제로 존재하는지, 문항이 중복은 없는지, 규칙 위반은 없는지를 기계적으로 확인

  • 이 모든 걸 AI 코딩 에이전트에게 지시해서 만들었다 (재사용 프롬프트는 맨 아래 📋 참고)

🔧 작업과정

1막 — 점수부터 조작하지 않기로 했다

가장 먼저 정한 건 "안티게이밍" 규칙이었다. 질의를 만들 때 정답 파일 제목의 단어를 그대로 쓰면 안 된다는 규칙을 걸었다. 예를 들어 정답이 "기대손실모형 가이드"라면, 질의는 "미래 손실 확률을 반영한 대손 산정 방법"처럼 의역해야 한다.

이유는 간단하다. 제목 단어를 그대로 베끼면 단순 문자열 검색조차 100% 맞힌다. 점수가 인위적으로 뛰어버리면 나중에 뭘 고쳐도 개선됐는지 판단할 기준선이 사라진다. 검수 기준 자체가 게이밍되면 검수 전체가 무의미해진다. 그래서 검증 스크립트가 이 의역 규칙 위반을 기계적으로 잡도록 했다 — 눈으로 훑고 넘어가지 않고, 위반 카운트가 0인 걸 확인한 뒤에야 측정을 시작했다.

2막 — 재는 자부터 고장나 있었다

측정을 시작하자마자 첫 삽질이 나왔다. 한 문항의 정답 파일이 실제로는 존재하지 않았다. 완료된 노트가 보관 폴더로 옮겨져 있었던 것이다. 그 문항은 어떤 방법을 쓰든 절대 맞힐 수 없는 문항이었고, 이 하나 때문에 모든 측정값이 알게 모르게 낮게 나오고 있었다.

교훈은 명확했다. 튜닝을 시작하기 전에 평가셋 자체의 무결성부터 검사해야 한다. "정답 경로가 실제로 존재하는가"를 상시 게이트로 걸어두지 않으면, 개선을 하는 게 아니라 애초에 못 맞히는 문제를 붙잡고 헛수고를 하게 된다.

3막 — 옛 결과와 새 결과를 섞어서 스스로 속았다

점수가 이상하게 흔들려 보이는 구간이 있었다. 원인을 뒤져보니 노이즈가 아니었다. 평가셋을 수정하기 전에 저장해둔 옛 결과 파일을 비교 기준으로 잘못 끌어다 쓴 거였다. 그사이 지식베이스 자체가 자라서 다른 문항들의 경쟁 조건까지 달라져 있었다.

비교는 반드시 같은 세션에서 방금 돌린 결과끼리만 해야 한다는 걸 이때 배웠다. 당연한 얘기 같지만, 막상 여러 실험을 반복하다 보면 은근히 저지르기 쉬운 실수였다.

4막 — 절반만 만들어놓고 재면 무조건 진다

폴더별로 요약 인덱스를 만드는 개선 실험을 하다가, 절반쯤 구축된 상태에서 성급하게 점수를 재봤다. 결과는 baseline보다 한참 낮은 0.06. 인덱스가 없는 구간이 전부 0점으로 깔려버린 탓이었다. 100%까지 다 구축하고 다시 재니 그제야 baseline을 넘는 개선으로 반전됐다.

사전에 뭔가를 구축해야 작동하는 방식은, 커버리지가 완성된 상태에서만 판정해야 한다는 걸 이 삽질로 확인했다.

5막 — 병목이 이동한다는 걸 인정하기

처음 분해했을 땐 "병목은 순위를 매기는 랭커다"라고 판단했다. 그런데 랭커를 고치고 나니 병목이 검색 경로를 정하는 라우팅 쪽으로 옮겨갔다. 한 번 내린 분해 결론을 고정해두지 않고, 레버를 하나 바꿀 때마다 다시 분해해야 한다는 걸 체감했다.

그리고 마지막으로, 질의와 문서가 공유하는 단어가 하나도 없는 문항들이 남았다. 이건 키워드 기반 검색 방식으로는 원리상 넘을 수 없는 천장이었다. 여기서 더 파고들면 튜닝이 아니라 과적합이 될 뿐이라, 임베딩 기반의 의미 검색이 아니고서는 답이 없다고 인정하고 멈췄다.

✅ 결과

baseline (그냥 키워드 검색, AI 호출 0회): recall@1 = 0.20 / @5 = 0.40 / @10 = 0.52

자연어로 물었을 때 정답 파일이 1등으로 나오는 게 5번 중 1번뿐이었다. 10등 안에 드는 것도 겨우 절반이었다. 특히 회계·세무처럼 전문용어가 많은 영역이 취약했다. "전세보증금을 세법상 임대수익으로 환산"처럼 자연스럽게 물으면, 문서에 쓰인 전문용어("간주임대료")와 겹치는 단어가 하나도 없어서 키워드 검색으로는 원리상 못 잡는다.

오답 문항들을 하나씩 들여다보다가 검색 방식만의 문제가 아니라는 것도 발견했다. 일부는 예전에 써두고 그 뒤로 손을 안 댄, 사실상 방치된 노트였다. 만들 때 썼던 표현 그대로 멈춰 있으니 지금 내가 실제로 질문할 때 쓰는 말투·용어와는 이미 벌어져 있었던 것이다. 검색 엔진의 한계이기 전에, 자료를 만들어두고 갱신하지 않은 내 습관의 문제이기도 했다.

개선 실험은 동일한 50문항으로 통제 A/B를 돌렸다.

구성

recall@1

recall@5

recall@10

AI 호출

소요시간

그냥 검색 (baseline)

0.20

0.40

0.52

0

수 초

계층 요약 + 키워드 랭커

0.30

0.52

0.52

0

3초

계층 요약 + 키워드 랭커 + AI 재정렬

0.52

0.52

0.52~0.54

48

약 3분

AI 라우팅 + 키워드 랭커

0.38

0.54

0.60

357

약 18분

네 구성이 서로 다른 지점에서 강해서 어느 하나가 다른 셋을 완전히 이기지 못했다. 비용 0으로 갈 거면 두 번째, 1등 적중률을 빠르게 올리고 싶으면 세 번째, 10등 안에만 들면 되는 상황이면 네 번째 — 이런 식으로 용도별로 고르는 게 맞다는 결론이었다.

흥미로운 실패도 하나 있었다. "AI 라우팅 + AI 재정렬"을 합쳐봤더니(AI 호출 429회로 제일 비쌌다) 세 지표 전부 다른 조합에 졌다. 각각 따로는 좋았던 두 레버를 합치니 서로를 망가뜨렸다 — 라우터가 후보군을 넓히면 재정렬이 그 넓어진 풀 안에서 오히려 흔들렸다. 개선 레버의 이득은 산술적으로 더해지지 않는다. 조합은 반드시 조합 그 자체로 측정해야 한다.

💬 팁

  • 재는 도구부터 검수하라. 튜닝에 들어가기 전에 평가셋의 정답 경로가 실제로 존재하는지부터 확인하는 게 첫 게이트다. 여기서 걸러지지 않으면 모든 후속 측정이 오염된다.

  • 비교는 같은 세션의 fresh 실행끼리만. 옛 결과를 비교 기준으로 재사용하면 그 사이 달라진 조건을 놓치고 스스로 속게 된다.

  • 사전 구축이 필요한 방식은 완성 후에만 평가하라. 절반만 만들어놓고 재면 항상 baseline보다 낮게 나와서 오판하기 쉽다.

  • 점수는 낮게 나와도 그대로 공개하는 게 다음 개선의 근거가 된다. 문항을 조작해서 점수를 예쁘게 만들면 baseline 자체가 사라지고, 진짜 개선이 있었는지 다음엔 잴 방법이 없어진다.

  • 검색 엔진 탓만 하기 전에 자료 자체를 의심하라. 방치된 노트는 그 안의 표현이 지금의 내 말투와 벌어져 있어서, 아무리 좋은 검색기를 붙여도 못 찾는다. 알고리즘을 고치기 전에 자료를 갱신하는 게 먼저일 때가 있다.

🚀 앞으로

키워드 기반 검색이 원리상 못 넘는 천장 — 질의와 문서 사이에 겹치는 단어가 없는 문항들 — 이 아직 남아 있다. 여기는 임베딩 기반 의미 검색이 아니면 답이 안 나온다는 걸 확인했으니, 다음 단계는 그쪽이다. 지금의 파레토 프론티어(비용 0 / 1등 최고 / 10등 최고)에 의미 검색을 얹었을 때 지형이 어떻게 바뀌는지가 다음 재는 대상이다.

📋 재사용 프롬프트

내 지식베이스(노트·문서 폴더)에서 자연어로 질문했을 때 정답 파일을 잘 찾는지 측정하는 평가 하네스를 만들어줘.
1) 실사용 비중대로 50문항 평가셋을 만들되, 질의에는 정답 파일 제목의 단어를 그대로 쓰지 마 (의역 강제 — 점수 게이밍 방지)
2) 각 질의를 검색기에 던져 정답 파일의 순위를 기록하고 recall@1/5/10을 집계해
3) 측정 전에 평가셋 자체를 검증해: 정답 경로가 실존하는지, 의역 규칙 위반이 없는지
4) 개선 실험은 동일 문항으로, 한 번에 한 가지만 바꿔서 A/B 비교해

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

엔지니어H 프로필 이미지
엔지니어H2026.07.29

5막이 이 글에서 가장 실무적인 대목입니다. "한 번 내린 분해 결론을 고정해두지 않고, 레버를 하나 바꿀 때마다 다시 분해해야 한다는 걸 체감했다" — 랭커를 고쳤더니 병목이 라우팅으로 옮겨갔다는 부분이요.

여기서 값이 큰 것은 병목이 옮겨갔다는 관찰 자체가 아니라 그 관찰이 절차를 바꿨다는 점입니다. 대개는 분해를 한 번 해서 원인 순위를 정하고, 그 순위표를 들고 끝까지 갑니다. 그런데 레버를 하나 당기면 그 순위표가 낡습니다. 낡은 순위표로 다음 레버를 고르면 이미 병목이 아닌 곳을 계속 고치게 됩니다. 그래서 이 글은 순위표를 산출물이 아니라 매 회차 다시 만드는 중간물로 다시 정의했습니다.

"개선 레버의 이득은 산술적으로 더해지지 않는다" 도 같은 자리에 있습니다. 라우팅과 재정렬을 함께 켰을 때 서로 간섭했다는 실측이 근거인데, 이 문장이 무거운 이유는 조합을 따로 재지 않으면 개선을 과대평가한다는 뜻이기 때문입니다. 레버 두 개를 각각 재고 합쳐서 그 합을 기대하는 것이 기본 습관이고, 이 글은 그 습관이 틀리는 사례를 숫자로 남겼습니다.

확인된 것과 남은 것이 이 글 안에서 갈립니다. 확인된 것은 조합은 조합으로 측정해야 한다는 것이고, 남은 것은 어떤 조합이 왜 간섭하는지의 메커니즘입니다. 후자가 없어도 앞의 절차는 그대로 성립합니다.

옮겨갈 범위는 검색을 넘어섭니다. 프롬프트 개선, 파이프라인 튜닝, 업무 프로세스 개선처럼 레버가 여러 개인 작업은 전부 같은 함정을 갖습니다. 다만 조건이 하나 붙습니다 — 매 회차 재분해가 성립하려면 기준선을 먼저 박아두고 그 값을 안 건드려야 합니다. 기준선이 같이 움직이면 무엇이 개선인지 알 수 없습니다. 평가셋 50문항과 시작 정답률을 먼저 고정한 것이 그 조건을 만들어 줍니다.

낮은 시작 숫자를 그대로 공개한 것이 이 글을 믿게 만듭니다. 개선 폭을 크게 보이려면 그 숫자를 가리는 것이 쉬운데, 가리지 않았습니다.

리히토 프로필 이미지
리히토2026.07.28

질의를 만들 때 정답 파일 제목의 단어를 그대로 쓰면 안된다 이거 중요한거같네요. 처음 제목만 보고 이건 무슨 자료겠거니 LLM이 짐작하지 않게요. 엔진 탓하기 전에 자료 의심도 정말 공감됩니다.. 검색기가 좋아도 노트 자체가 그 로직에 맞게 형태를 갖지 않으면 헛발질 할수있는데.. 귀찮지만 검색기가 바뀌면 자료 형태나 내용도 갱신하는 습관을 가져야겠네요 ㅠㅠ

유피테르 프로필 이미지
유피테르2026.07.27

정답 파일 제목을 그대로 쓰지 않는 안티게이밍 규칙과 평가셋 무결성 검증을 먼저 세우고 측정에 들어가신 과정이 정말 꼼꼼하고 인상적이었어요. recall@1·@5·@10과 AI 호출 수, 소요 시간까지 함께 비교해서 비용별 선택 기준을 보여주신 덕분에 결과를 훨씬 현실적으로 판단할 수 있었습니다. 낮은 baseline과 조합 실험의 실패까지 숨기지 않고 다음 개선의 기준으로 남겨주신 점도 특히 좋았습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기