AI 비교 실험에서 피싱 연습실까지 — 두 번의 아쉬움, 그래도 연구는 계속합니다
2026.10.20

AI 비교 실험에서 피싱 연습실까지 — 두 번의 아쉬움, 그래도 연구는 계속합니다
먼저 영상으로 보기
https://pause-before-you-trust.oneshot11.chatgpt.site/intro.mp4
피싱 예방 연습
https://pause-before-you-trust.oneshot11.chatgpt.site/
(피싱 예방 연습, 위 클릭하고 직접 경험해 보기)
한줄 요약
AI의 피싱 판정을 비교하려 ABCD 네 조건을 설계해 두 차례 시험하고, 이어 시니어용 피싱 연습실을 만들어 카카오톡으로 200여 명에게 배포했습니다. 비교 실험에서는 뚜렷한 차이를 찾지 못했고 연습실의 확인된 후기도 두 건에 그쳤지만, 두 시도의 한계를 기록하며 연구를 이어가려 합니다.
1. 이런 분들께 도움돼요
• AI가 만든 결과를 실제 사용자에게 보여주고 개선하고 싶은 분
• 시니어 교육이나 생활 속 안전 교육을 만드는 분
• 처음 세운 계획대로 되지 않은 과정도 사례로 정리하고 싶은 분
2. 문제 상황(Before)
출발점에는 두 가지 질문이 있었습니다. “하네스와 에이전트 협업을 더하면 AI가 피싱을 더 잘 판별할까?”, 그리고 “사람도 피싱 상황에 대응하는 연습을 할 수 있을까?”였습니다.
첫 번째 시도는 AI의 피싱 판정 방식을 비교하는 실험이었습니다. A 단일 AI, B 단일 AI + 하네스, C 멀티 에이전트, D 멀티 에이전트 + 하네스라는 네 조건을 설계했습니다. 같은 피싱 문제를 주었을 때 판정의 정확성과 판단 근거에 차이가 나는지 확인하고 싶었습니다. 1차에는 Claude가 출제하고 Codex가 풀었고, 2차에는 Codex가 출제하고 Claude가 풀었습니다.
하지만 두 차례 모두 네 조건의 판정이 거의 같아 기대했던 차이를 확인하기 어려웠습니다. 특히 2차는 실제 독립 에이전트 팀이나 코드로 강제한 하네스가 아니라, 한 AI 대화에 역할 분담과 점검을 지시한 수준이었습니다. 이 결과만으로 하네스나 멀티 에이전트의 효과를 판단할 수는 없었습니다.
두 번째 시도는 시니어가 직접 행동을 고르는 피싱 연습실이었습니다. 비교 실험의 아쉬움 뒤에 “키오스크를 연습하듯이 피싱도 연습하면 어떨까?”라는 생각으로 방향을 바꿨습니다. 가족이 급하다고 하거나 기관 직원이라는 사람이 지금 당장 행동하라고 하면, 알고 있던 주의사항도 떠오르지 않을 수 있습니다. 그래서 피싱 지식을 읽는 데서 그치지 않고, 긴박한 상황에서 내가 어떤 행동을 고를지 연습하도록 만들었습니다.
연습실을 만들어 지인들에게 배포했지만 실제 반응도 기대에 못 미쳤습니다. 이 글에서는 ABCD 비교 실험의 설계·결과·한계와, 피싱 연습실의 제작·수정·배포 후 반응을 함께 정리합니다. 두 시도에서 무엇이 부족했는지 돌아보고, 다음 연구로 이어가려 합니다.
3. 사용한 도구
도구 | 맡긴 일 |
Codex | 비교 실험 준비·답안 정리, 자료 조사, 연습실 구현·수정·검증 |
Claude | 1차 문제 출제, 2차 조건별 문제 응시 |
웹 검색 | 국내외 실제 사건·공식 경보 자료 조사 |
PixVerse 음성 생성 | 한국어 역할 음성과 보기·피드백 음성 제작 |
OpenAI Sites | 연습실 공개 배포, 동의한 이용 기록·후기 저장, 관리자 조회 |
카카오톡 | 제가 지인들에게 연습실 링크를 전달하고 반응을 받는 통로 |
4. 작업 과정
왜 비교했나? — 피싱 판정에 도움이 되는 AI 구성 찾기
이 비교의 목적은 AI에게 같은 피싱 사례를 주었을 때, 하네스를 더하거나 여러 에이전트가 협업하도록 설계하면 단일 AI보다 판정의 정확성과 판단 근거가 나아지는지 알아보는 것이었습니다. 단순히 AI끼리 답을 맞추는 게임이 아니라, 시니어에게 피싱 여부와 대응 방법을 안내할 때 어떤 구성이 더 믿을 만한지 확인하고 싶었습니다.
이 목적을 코덱스에게 설명하며 다음과 같이 비교 실험을 요청했습니다.
하네스와 멀티 에이전트의 협업을 더하면AI가 피싱을 더 잘 알아보는지 비교하고 싶어.
A: 단일 AI
B: 단일 AI + 하네스
C: 멀티 에이전트
D: 멀티 에이전트 + 하네스
같은 피싱 문제로 네 조건의 판정과 판단 근거를 비교해 줘.
실제로 구현한 방식과 설계에 그친 부분도 구분해 줘.조건 | 설계한 구성 | 무엇을 확인하려 했나? |
A | 단일 AI | AI 하나가 피싱 사례를 스스로 판단하면 얼마나 정확하게 판별하는가? 다른 조건과 비교할 기준으로 삼았습니다. |
B | 단일 AI + 하네스 | AI 하나에 작업 규칙과 검증 절차를 더하면, 단일AI보다 놓치는 단서나 성급한 결론을 줄일 수 있는가? |
C | 멀티 에이전트 | 여러 에이전트가 역할을 나누고 서로 검토하도록 구성하면, 단일AI보다 다양한 단서를 발견하고 잘못된 판단을 보완할 수 있는가? |
D | 멀티 에이전트 + 하네스 | 협업 구조에 작업 규칙과 검증 절차까지 더하면, C보다 검토 누락을 줄이고 B보다 협업의 이점을 얻을 수 있는가? |
여기서 하네스는 AI의 작업 흐름에 규칙·기록·검증 절차를 붙이는 장치를 뜻합니다. 멀티 에이전트는 여러 에이전트가 역할을 나눠 협업하는 구성입니다.

무슨 결과가 나왔나? — 두 번 모두 판정이 거의 같았습니다

비교 | 1차 | 2차 |
출제 → 응시 | Claude → Codex | Codex → Claude |
피싱 문항 수 | 6개 | 12개 |
네 조건의 판정이 같았던 문항 | 5개 | 12개 전부 |
두 차례 모두 판정이 거의 같아, 기대했던 방식으로 우열을 비교하기 어려웠습니다. 2차에서는 총 48개 답안을 저장했고, 각 조건의 판정은 사전 기준과 12문항 중 10문항에서 일치했습니다. 판단 근거와 확신도에는 차이가 있었지만, 판정 결과에서 기대했던 차이가 드러나지 않아 아쉬웠습니다.
다만 2차 C·D는 Claude 웹 대화에 역할 분담을 지시한 것이며 독립 에이전트 실행 증거는 없습니다. B·D도 코드로 강제한 하네스가 아닌 점검 지시입니다. 조건을 아는 상태의 잠정 채점·1회 실행·비용과 토큰 미계측이라는 한계가 있습니다. 이 한계를 1차에 소급 단정하지 않았고, 하네스나 멀티 에이전트가 무용하다고 결론 내리지도 않았습니다. 자세한 실험 결과는 맨 아래 하이퍼링크에 연결했습니다.

그래서 무엇을 만들었나? — 사람이 직접 해보는 피싱 대응 연습
https://pause-before-you-trust.oneshot11.chatgpt.site/

두 번의 시도 뒤에 저는 이 방식의 비교를 더 이어가지 않기로 했습니다. 하네스나 멀티 에이전트가 단일 AI보다 우월하다는 결론을 얻기에는 테스트 방법이 서툴렀고 자료가 미진했습니다.
피싱 지식을 읽는 대신 행동을 연습하도록 만들고 싶었습니다. 그래서 코덱스에게 다음과 같이 요청했습니다.
키오스크를 연습하듯이 시니어가 피싱 대응을 연습하게 만들고 싶어.
네가 지어낸 사례 말고, 웹 검색으로 실제 피싱 사례를 찾아줘.
전화나 문자를 받는 상황을 보여주고,
사용자가 행동을 고르면 피드백과 대처 방법을 알려줘.
카카오톡으로 지인에게 보내서 연습할 수 있게 만들어줘.
이후 작업의 중심을 시니어를 위한 피싱 대응 연습실 제작으로 옮겼습니다. 최근 국내외 실제 피싱 사례와 공식 경보 자료를 조사해 100여 개의 학습 상황으로 구성했습니다. 피싱 상황을 들려주고, 사용자가 행동을 고르고, 그 행동에 대한 피드백을 받는 것이 목표였습니다.
사건의 사실과 연습용 대사는 구분했습니다. 실제 사례·공식 경보에서 확인한 내용은 출처와 함께 남기고, 등장인물의 대사·감정·독촉 표현과 행동 보기는 교육용 상황극으로 재구성했습니다. 음성도 실제 범인의 녹음이 아니라 합성 음성입니다. 미국·중국·프랑스·영국 사례는 한국어로 연습할 수 있게 했으며, 해외 사례를 국내에서 일어난 사건처럼 바꾸지는 않았습니다.
예를 들어 법무부의 출입국 미수령 서류 사칭 경보, KISA의 주민센터 사칭 주의 안내 등을 참고했습니다. 개별 자료의 날짜와 확인 범위는 조사 결과와 확인 범위에 정리했습니다.
직접 써 보니 무엇이 문제였나? — 기계적인 말투와 보기를 고쳤습니다

코덱스를 잡도리했습니다.
“상황이 긴박감이 없고 뉴스 제목 읽는 것 같아.”
매번 “연습 상황입니다”라는 안내가 나오니 흐름이 끊겼습니다. 목소리는 기계적이고, 문장은 문어체이고, 보기까지 매번 비슷했습니다.
이 문제를 코덱스에게 설명하면서, 뉴스처럼 읽히는 설명을 실제 상황처럼 느껴지는 연습으로 바꿔 달라고 요청했습니다.
직접 해보니 뉴스 제목을 읽는 것 같고 말투도 너무 기계적이야.
카톡 알림음과 함께 글자가 하나씩 나오게 해줘.
대사는 사람이 말하듯 구어체로 바꾸고,
조급한 마음, 믿고 싶은 마음, 확인하려는 마음이
보기마다 다르게 드러나게 해줘.
보기 순서는 매번 섞고, 선택한 행동에 맞는 피드백을 들려줘.
그래서 공통 안내는 시작과 끝에 두고, 문자 도착 연출과 역할별 대사를 앞에 놓도록 바꿨습니다. 음성 듣기·멈추기·건너뛰기를 위쪽으로 옮기고, 네 가지 보기도 상황에 맞는 감정과 행동으로 만들었습니다.
조급해서 바로 움직이고 싶은 마음, 의심하면서도 믿어보고 싶은 마음, 대수롭지 않게 넘기는 반응, 급해도 따로 확인하는 행동을 서로 다르게 구성했습니다. 매 문제마다 보기 순서는 섞고, 사용자가 연습한 다음 격려와 설명을 제공하도록 했습니다.
음성은 PixVerse로 다시 제작했습니다. 역할·보기·격려·해설 재생까지 기능 확인을 했지만, 사람이 듣기에 충분히 자연스러운지는 더 피드백을 받아야 합니다.
배포하니 어땠나? — 적은 후기와 접속 차단 제보

10월 19일 낮 12시 16분, 지인들에게 연습실 링크를 카톡으로 보냈습니다. 파트너에게서 무엇을 해야 하는지 모르겠다는 반응을 듣고, 낮 12시 23분에 ‘상황 속으로 들어가기’를 클릭해 달라는 안내를 추가로 보냈습니다.
반응은 두 곳에 나뉘어 있었습니다.
• 카카오톡 대화방: 링크가 안 열린다는 제보와 화면 사진
• 연습실 관리자 화면: 이용자가 동의하고 전송한 별점·후기, 선택 행동 기록
카카오톡에서 오후 5시 33분에 유럽 여행 중인 지인으로부터 “저는 이런것이 떠요.”라는 회신이 왔습니다. 첨부 화면에는 보안 서비스가 사이트 접근을 차단했다는 안내가 있었습니다. 저는 외부 브라우저로 여는 방법 등의 안내를 오후 7시 34분에 전달했습니다. 이후 실제로 해결됐다는 회신은 확인한 대화 범위에서 찾지 못했습니다.
피싱 예방 연습에 대한 반응도 미미해 실망스러웠지만, 여기서 연구를 그만두지는 않기로 했습니다.
5. 결과(After)
한 문제만 해보시고, 막힌 곳이나 어색한 점 한 가지만 알려주세요.
접속이 안 되는지, 어디를 눌러야 할지 헷갈리는지, 목소리나 보기가 어색한지 중 하나만 알려주셔도 다음 수정에 도움이 됩니다. 연습을 마친 뒤 후기란에 남겨 주세요. 접속 자체가 안 된다면 이 게시글의 댓글로 알려주셔도 좋겠습니다.
만들어서 배포하는 데까지는 갔지만, 제가 기대한 만큼의 반응은 오지 않았습니다. 역할 음성, 네 가지 행동 보기, 피드백·해설, 후기 기능까지 넣었지만 확인된 글 후기는 한 건뿐이었습니다. 이 저조한 반응이 이번 결과에서 가장 아쉬운 부분입니다.
막연히 “조용하다”는 느낌으로 끝내지 않으려고, 연습실에 저장된 기록과 카카오톡 회신을 확인했습니다.
10월 19일 23시 58분(KST)에 조회한 저장 기록은 다음과 같습니다. 확인된 개발 시험 2회는 제외했습니다.
항목 | 확인된 기록 |
확인된 개발 시험을 제외한 회차 | 6회차 |
답안을 남긴 회차 | 5회차 |
저장된 답안 | 10건 |
종료 상태가 완료로 저장된 회차 | 3회차 |
후기 | 2건 |
글이 있는 후기 | 1건 |
두 후기의 별점 | 각각 3/5점 |
글이 있는 후기는 다음과 같았습니다.
“문자나 전화번호 모르면 무시하는게 좋지요”
다른 후기는 별점만 있고 글은 없었습니다. 후기 두 건, 그중 글은 한 건이라는 결과는 제 기대에 비해 매우 적었고 실망스러웠습니다.
카카오톡에서 확인된 구체적인 회신도 “잘 써봤다”는 평가가 아니라 접속이 차단됐다는 제보였습니다. 적어도 한 분에게는 문제를 풀어보기 전에 들어가는 단계부터 어려움이 있었습니다. 안내를 전달했지만 해결됐다는 확인은 아직 없습니다.
이 의견을 보고, 연습실의 해설이 단순히 ‘무시하기’와 ‘별도로 확인하기’를 충분히 구분해서 전달하는지도 살펴봐야겠다고 생각했습니다.
위 숫자는 사람 수가 아니라 회차 수입니다. 완료 상태에도 건너뛰기가 포함될 수 있습니다. 기록에 동의하지 않은 이용이나 입장 전 차단은 이 숫자에서 빠질 수 있습니다.
반응이 적었던 이유는 아직 모릅니다. 접속 문제 때문인지, 상황이나 목소리가 흥미를 끌지 못했는지, 참여할 시간이 없었는지, 후기를 남기는 과정이 번거로웠는지는 별도로 확인해야 합니다. 앞서 적은 200여 명은 배포 대상의 대략적인 규모입니다. 실제로 링크를 확인한 인원과 중복을 제외한 방문자 수는 파악하지 못했으므로 참여율이나 응답률을 계산하지 않았습니다.
이번에 확인한 결과는 연습 도구 제작·배포, 적은 이용·후기 기록, 접속 차단 제보입니다. 이것만으로 교육 효과가 있다고 말할 수도, 피싱 연습 자체가 효과 없다고 단정할 수도 없습니다.
6. 이 과정에서 배운 AI 활용 팁
무엇을 배웠나? — 아쉬움을 인정하고 계속 연구하기

솔직히 두 가지 모두 결과가 실망스러웠습니다.
ABCD 비교 실험(단일 AI, 단일 AI + 하네스, 멀티 에이전트, 멀티 에이전트 + 하네스)은 두 차례 모두 판정이 거의 같아, 기대했던 차이를 비교할 수 없었습니다. 방향을 바꿔 만든 피싱 연습실도 배포 후 반응이 극히 저조했습니다. 만들고 고친 만큼 반응이 돌아오지 않아 아쉬웠습니다.
하지만 결과가 실망스럽거나 반응이 미미하다고 해서 낙담하고 그만두지는 않으려고 합니다. 앞으로도 계속 연구해 나갈 작정입니다. 비교 실험에서는 무엇을 구분할 수 있는 시험인지 더 고민하고, 피싱 연습에서는 사람들이 어디서 막히고 무엇을 불편해하는지부터 살펴보겠습니다.
이번에 배운 것은 AI로 도구를 만드는 일과 사람들이 실제로 쓰고 반응하게 만드는 일이 서로 다르다는 점입니다. 기능을 늘렸다는 사실만으로 유용함이 입증되지는 않았습니다. 적은 반응도 그대로 기록하고, 그 이유를 확인해 다음 수정에 연결하는 과정이 필요했습니다.
다음 시도에 가져갈 AI 활용 팁
• 결과부터 확인하기: 제작 기능 목록에 앞서 실제 이용 기록·후기·접속 실패를 확인합니다.
• 시험과 이용을 구분하기: 개발 시험을 제외하고, 회차 수를 사람 수나 교육 효과로 단정 짓지 않습니다.
• 불편을 구체적으로 묻기: “어땠나요?”에 그치지 않고 접속, 말투, 속도, 보기 의미 중 어디서 막혔는지 확인하는 방법을 고민해 보겠습니다.
• 실행 증거를 남기기: 역할이나 점검을 지시한 것과 실제 수행이 검증된 것을 구분합니다.
• 반응이 적은 이유 확인하기: 재미·접근성·시간·후기 과정 중 무엇이 문제였는지 확인한 뒤 고칩니다.
7. 다른 업무에 적용한다면?
키오스크 주문, 의심스러운 결제 요청, 개인정보 제공 요청 같은 생활 상황에도 이 방식을 적용해 볼 수 있습니다. 설명만 보여주는 대신 상황을 제시하고 행동을 고르게 한 뒤, 왜 그 행동을 골랐는지 돌아보게 하는 방식입니다.
조직에서 AI 작업 방식을 비교할 때도 적용할 교훈이 있습니다. 팀 구성을 복잡하게 만들기 전에, 비교할 문제와 평가 기준, 실제 실행 증거가 있는지부터 확인해야 합니다. 같은 답이 나왔다면 바로 효과가 없다고 결론 내리기보다 테스트를 재점검해 보아야 합니다.
8. 앞으로의 계획
실망스러운 결과가 나왔다고 같은 시도를 무작정 반복하기보다, 다음에는 실제 이용에서 막힌 지점을 확인하면서 연구를 이어가겠습니다. 아래는 그 의지를 실행으로 옮기기 위한 다음 점검 항목입니다.
1. 카카오톡 안에서 열리지 않은 사례의 재현 여부와 해결 여부 확인
2. 말투·속도·발음·보기 의미를 사용자가 이해하는지 짧은 피드백 수집
3. ‘무시하기’와 ‘공식 경로로 확인하기’의 차이가 해설에서 잘 전달되는지 점검
4. 시험 기록과 실제 이용 기록을 더 쉽게 분리해서 보는 방법 보완
5. 여건이 되면 연습 전후의 행동 선택을 비교해 보기
마지막 항목은 앞으로 시도할 검증이며, 아직 학습 효과를 확인한 것은 아닙니다.
9. 도움받은 글과 내용
• 24기 CTO 스터디장의 지식 공유: AI 팀과 하네스를 주제로 직접 시도해 보고, 그 과정을 사례로 남길 수 있도록 방향을 잡는 데 도움을 받았습니다. 이번 비교 실험과 연습실 연구의 출발점이 되었습니다.
• 물결님의 물레방아 하네스 사례 발표: AI에게 역할을 맡기는 것뿐 아니라 작업 규칙, 기록, 검수 관문이 필요하다는 점을 생각하는 데 도움을 받았습니다. 특히 점검하라는 지시와 실제로 위반을 막는 장치의 차이를 돌아보게 했습니다. 물결님 사례글
• 국내외 실제 피싱 사례와 공식 경보 자료: 연습 상황을 구성하는 기초 자료로 활용했습니다. 실제 사건의 사실과 출처를 남기고, 대사·감정·행동 보기는 교육용으로 재구성했습니다. 개별 출처는 연습실의 사례별 자료와 조사 기록에 정리했습니다.
• 연습에 참여하고 의견을 보내주신 지인들: 별점과 짧은 후기, 접속이 안 된다는 화면 제보까지 다음에 무엇을 확인해야 할지 알려주는 자료가 되었습니다. 반응이 많지는 않았지만 보내주신 의견에 감사드립니다.
근거와 확인 범위
실험은 저장된 1차 기록, 2차 실행 기록, 잠정 채점을 대조했습니다. 제작·배포 내용은 연습실 개선 결과, 이용 수치는 공개 사이트의 운영 데이터베이스 조회에 근거합니다. 카카오톡은 공유 사실이 확인된 지인방 한 곳과 사용자가 제공한 차단 화면을 확인했습니다. 모든 지인방의 회신을 확인한 것은 아닙니다. 회신자의 이름·프로필·대화방 이름은 본문에서 제외했습니다.
우리 회사에도 이런 자동화를 도입하고 싶다면
회사 업무에 맞춘 AI 교육을 함께 설계해요.




에이전트가 원샷, 투샷, 쓰리샷에서 이미 빵 텨졌습니다. ㅎㅎ