프롬프트에 기준을 넣지 않는다면? — 귀납적 프롬프팅 실험기

📝 한줄 요약

"좋은 발표"의 기준을 AI에게 알려주는 대신, 잘하는 사람의 녹음 3개를 들려주고 AI가 스스로 패턴을 찾게 했습니다. 정답이 하나가 아닌 영역에서는 이 접근이 더 유효할 수 있습니다.

🎯 이런 분들께 도움돼요

• AI에게 "평가해줘"라고 요청했는데 뻔한 결과만 나와서 답답했던 분

• 프롬프트를 잘 쓰고 싶은데 "구체적으로 써라" 외에 다른 접근법이 궁금한 분

• 강의, 발표, 코칭처럼 "잘한다"의 기준이 모호한 영역에서 AI를 활용하고 싶은 분

😫 문제 상황 (Before)

"좋은 발표"란 뭘까요?

교육 프로그램을 운영하면서, 강의를 잘하는 사람의 특징이 궁금했습니다. 발표가 좋았던 세션은 직감적으로 알겠는데, "왜 좋았는지"를 구체적으로 설명하긴 어려웠습니다.

처음엔 당연히 기준을 먼저 세우는 접근을 생각했습니다.

"설명 구조화: 몇 점, 청중 참여 유도: 몇 점, 피드백 품질: 몇 점..."

이런 채점표를 만들고, AI에게 "이 기준으로 평가해줘"라고 시키는 방식이요.

그런데 막상 기준을 세우려니 벽에 부딪혔습니다.

에너지 넘치게 이끄는 사람도 좋은 강의자이고, 조용히 경청하다가 핵심 질문 하나로 분위기를 바꾸는 사람도 좋은 강의자입니다. "발화 비율 X% 이상" 같은 기준을 넣는 순간, 후자 스타일은 자동으로 탈락합니다.

결국 제가 아는 "좋은 강의"의 이미지에 맞는 사람만 찾게 되는 셈이었습니다.

🛠️ 사용한 도구

• Claude: 음성 파일 직접 분석 (별도 STT나 텍스트 변환 없이 오디오를 바로 입력)

• ffmpeg: 영상에서 오디오만 추출하는 도구 (무료)

🔧 작업 과정

"기준을 먼저 세우면 내가 아는 것만 찾는다"

처음 시도한 방식은 이랬습니다.

"다음 강의 녹음을 듣고, 아래 항목별로 평가해줘:

1. 설명의 구조화 (1-5점)

2. 청중 참여 유도 (1-5점)

3. 피드백의 구체성 (1-5점)"

결과는? AI가 기계적으로 점수를 매깁니다. "설명이 구조적입니다. 4점." 이런 식으로요. 틀린 말은 아닌데, 제가 이미 알고 있는 것을 확인하는 수준에 그쳤습니다.

문제는 명확했습니다. 내가 정한 기준의 틀 안에서만 AI가 움직이는 것이었습니다.

"그럼 반대로 해보자" — 기준 없이 사례부터 보여주기

발상을 뒤집었습니다. 기준을 주는 대신, "잘한다"고 인정받는 사람들의 녹음을 먼저 들려주는 것입니다.

주변에서 "이 사람 강의 진짜 좋다"고 합의된 사람 3명의 세션 녹음을 준비했습니다. 각각 스타일이 다른 사람들로요.

먼저 각 녹음을 하나씩 AI에게 들려주며 이렇게 물었습니다:

"이 강의/세션 녹음을 듣고, 강의자의 특징을 자유롭게 분석해줘. 톤, 말하는 속도, 침묵 활용, 청중 반응에 대한 리액션 등 음성에서 관찰되는 모든 특성을 포함해서. 채점하지 말고, 이 사람만의 스타일이 뭔지 서술해줘."

핵심은 "채점하지 말고"입니다. 점수를 매기라고 하면 AI는 자동으로 "좋다/나쁘다" 프레임에 빠집니다. 대신 "이 사람의 특징이 뭐야?"라고 물으면, AI는 관찰자 모드로 전환합니다.

3명 분석 후 — "공통점을 찾아봐"

3명 각각의 분석이 끝나면, 다음 단계로 넘어갑니다.

"위 3명의 분석 결과를 종합해줘. 3명 모두에게서 공통적으로 나타나는 특성은 뭐야? 그리고 각 사람만의 고유한 강점은 뭐야? 공통 패턴과 개별 강점을 분리해서 정리해줘."

여기서 귀납적 프롬프팅의 핵심이 드러납니다.

연역: "좋은 강의란 A, B, C이다" → "이 사람은 A가 부족하다" 귀납: "잘하는 사람 3명을 봤더니 공통적으로 X, Y, Z를 한다" → "이게 '좋은 강의'의 패턴일 수 있다"

내가 기준을 정한 게 아니라, AI가 사례에서 기준을 도출한 것입니다.

흥미로운 건 이렇게 도출된 패턴이 제가 미리 생각했던 것보다 더 구체적이라는 점이었습니다. "설명을 잘한다" 수준이 아니라, "복잡한 개념을 일상 비유로 전환한다", "질문 후 3초 이상 침묵을 두어 참여자가 생각할 시간을 준다" 같은 관찰 가능한 행동 수준의 패턴이 나옵니다.

가드레일 — "하지 마"도 프롬프트의 일부

이 접근에서 중요한 건 AI에게 안 할 것을 명확히 하는 것이었습니다.

프롬프트에 넣은 가드레일들:

• "숫자 점수를 매기지 마" — 점수는 허위 정확도를 만듦. "4.35점"이라는 숫자가 주는 착각

• "특정 스타일이 더 낫다고 판단하지 마" — 에너지 넘치는 스타일 ≠ 조용한 스타일보다 우월

• "일반론적 피드백을 하지 마" — "소통을 잘합니다" 같은 누구에게나 해당되는 말 금지

특히 두 번째가 중요했습니다. AI는 기본적으로 "활발하고 적극적인" 스타일을 높게 평가하는 경향이 있습니다. 가드레일 없이 두면 조용하지만 깊이 있는 스타일의 사람이 항상 낮게 나옵니다.

새로운 사람을 분석할 때 — 도출된 패턴을 기준으로

패턴이 도출되면, 이제 새로운 사람의 녹음을 분석할 때 이 패턴을 기준으로 사용합니다.

"앞서 도출한 패턴 프레임워크를 기준으로, 이 세션 녹음을 분석해줘. 각 패턴에 대한 매칭도(높음/중간/낮음)와 이 사람만의 핵심 강점, 그리고 성장할 수 있는 영역을 구체적 예시와 함께 서술해줘. 숫자 점수는 매기지 마."

결과물은 "4.35점"이 아니라, "이 사람은 질문을 통해 참여를 유도하는 패턴에서 높은 매칭을 보이며, 특히 12분경 참여자의 질문을 다른 참여자에게 리디렉션하는 장면이 인상적이다" 같은 서술형 분석이 됩니다.

숫자 하나보다 훨씬 유용한 정보입니다.

✅ 결과 (After)

Before vs After

언제 이 접근이 유효한가

이 귀납적 프롬프팅이 의미 있는 경우는 "잘한다"의 정의가 하나가 아닌 영역입니다:

• 강의/발표 — 스타일이 다양하고, 좋은 강의의 형태가 여러 가지

• 코칭/퍼실리테이션 — 이끄는 방식이 사람마다 다름

• 글쓰기/콘텐츠 — 좋은 글의 기준이 독자마다 다름

• 리더십/소통 — 효과적인 소통 방식이 상황마다 다름

반면, 코딩 테스트나 자격증 시험처럼 정답이 명확한 영역에서는 기준을 먼저 주는 연역적 접근이 더 적합합니다. 만능은 아닙니다.

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. "채점 대신 관찰"을 요청하기 — "몇 점이야?"보다 "이 사람의 특징이 뭐야?"가 더 풍부한 분석을 끌어냄

2. 잘하는 사례를 먼저 보여주기 — AI에게 "좋은 게 뭐야?"를 물어보는 대신, 좋은 것을 보여주고 "공통점이 뭐야?"를 물어보기

3. 가드레일 설정하기 — "하지 마"를 명시하지 않으면 AI는 기본값(점수 매기기, 활발한 스타일 선호)으로 돌아감

이렇게 하면 안 돼요

1. 모든 상황에 귀납적 접근을 쓰는 것 — 정답이 명확한 영역에서는 기준을 먼저 주는 게 맞습니다

2. 레퍼런스 1개만 주는 것 — 1명이면 "그 사람의 특징"이지 "좋은 강의의 패턴"이 아닙니다. 최소 3개는 필요

3. 결과를 그대로 최종 판단으로 쓰는 것 — AI의 분석은 "참고 자료"지 "최종 결정"이 아닙니다

🌍 다른 업무에 적용한다면?

이 귀납적 프롬프팅은 "좋은 X란 뭘까?"라는 질문이 있는 모든 곳에 적용할 수 있습니다:

• 채용 면접: 우리 팀에 잘 맞았던 사람 3명의 면접 기록을 보여주고 "공통 패턴이 뭐야?" → 면접 평가 기준 도출

• 콘텐츠 기획: 반응이 좋았던 게시글 10개를 보여주고 "왜 이게 잘 됐을까?" → 콘텐츠 전략 도출

• 고객 상담: 만족도가 높았던 상담 녹음을 보여주고 "이 상담의 특징이 뭐야?" → 상담 품질 기준 도출

• 코드 리뷰: 좋은 PR 5개를 보여주고 "이 PR들의 공통점이 뭐야?" → 코드 리뷰 가이드라인 도출

핵심은 항상 같습니다. 기준을 정해서 시키는 대신, 좋은 사례를 보여주고 AI가 패턴을 찾게 하는 것.

📋 재사용 가능한 프롬프트

프롬프트 1: 개별 사례 분석 (관찰 모드)

[분석할 자료 — 녹음, 텍스트, 이미지 등]을 보고, [대상]의 특징을 자유롭게 분석해줘. [관찰 포인트 예시: 톤, 속도, 구조, 표현 방식 등] 등 관찰되는 모든 특성을 포함해서. 채점하지 말고, 이 [대상]만의 스타일이 뭔지 서술해줘. 특정 스타일이 더 낫다고 판단하지 마.

프롬프트 2: 교차 분석 (패턴 도출)

위 [N]개의 분석 결과를 종합해줘. [N]개 모두에게서 공통적으로 나타나는 특성은 뭐야? 그리고 각각만의 고유한 강점은 뭐야? 공통 패턴과 개별 강점을 분리해서 정리해줘. 너무 일반적인 패턴("잘한다", "명확하다" 수준)은 제외하고, 관찰 가능한 구체적 행동 수준으로 써줘.

프롬프트 3: 새 대상 평가 (패턴 적용)

앞서 도출한 패턴 프레임워크를 기준으로, 이 [새 자료]를 분석해줘. 각 패턴에 대한 매칭도(높음/중간/낮음)와 이 [대상]만의 핵심 강점, 그리고 성장할 수 있는 영역을 구체적 예시와 함께 서술해줘. 숫자 점수는 매기지 마. 순위를 매기지 마.