스터디장님의 가이드에 따라 이번 주는 새로운 기능 추가보다 수정·개선·보완에 집중했다.
1주차에는 회사소개서와 회사소개 영상 자막을 기반으로 AI가 미팅 가이드를 자동 생성하는 구조를 만들고 있었다. 처음에는 단순히 OCR로 문서를 읽어오는 수준일 것이라 생각했는데, Claude Code가 실제로는 훨씬 많은 작업을 수행하고 있다는 사실을 알게 되었다.
데이터가 등록되면 여러 폴더와 파일들이 자동으로 생성되고 있었고, AI가 이해하기 쉬운 형태로 논리 구조를 재정리한 뒤 필요한 정보들을 압축해서 저장하고 있었다. (클로드 코드가 이런거구나.. 나는 말만하고 실제 움직이는 것 은 클로드 코드가 하는 상황)
이번 주의 목표는 단순히 결과물을 만드는 것이 아니라, 더 정확하고 일관성 있는 미팅 가이드 시스템으로 개선하는 것이었다.
진행 방법
사용 도구
Claude Code
Markdown(.md)
회사소개서
회사소개 영상 자막
예산 기금운용계획 공개자료
1. 입력 데이터 구조 개선
회사소개서와 영상 자막을 최대한 잘게 나누어 입력했다.
그러자 Claude Code는 단순히 내용을 저장하는 것이 아니라
핵심 내용 요약
논리 구조 정리
코드에서 활용하기 쉬운 형태로 압축
마케팅 표현과 사실 기반 표현 구분
까지 수행하고 있었다.
특히 놀랐던 부분은 마케팅성 표현과 실제 사실을 분리해서 정리해 준다는 점이었다.
예를 들어 향후 현장 미팅 전략을 만들 때에도 과장된 표현이 아니라 실제 근거 기반의 전략을 만들 수 있도록 사전 정리를 수행하고 있었다.
2. 다른 도메인으로 확장 시 발생한 문제
내가 주력으로 다루는 도메인에 속한 업체들은 상당히 그럴듯 하게 분석했다. (하지만 거짓말도 섞여있어서 계속 클로드 코드에게 민원을 넣어야 했다.)
나의 잡도리... (프롬프트라기 보다 논리 잘못된것, ai가 이해 잘못한것 등 거의 일기쓰기 체크해주는 것에 가까웠다.)
검은색 배경에 한글이 적혀있어요
하지만 시장조사나 신규 기회 발굴을 위해 전혀 다른 업종의 업체를 입력했을 때 문제가 발생했다.
기존에 학습된 내 도메인의 논리를 다른 업종에 억지로 연결하면서 그럴듯한 설명을 만들어내는 현상이 두드리저게 나타났다.
즉,
말은 자연스럽다.
논리도 있어 보인다.
하지만 실제 근거는 부족하다.
라는 문제를 발견했다.
3. AI에게 '없는 내용은 만들지 말라'고 명시
이를 해결하기 위해 AI에게 다음과 같은 원칙을 부여했다.
없는 내용은 만들지 말고 사실에 기반해서만 설명해라.
억지 연결을 하지 마라.
그 이후부터는 확실히 변화가 나타났다.
사실 기반 응답 증가
억지 연결 감소
모르는 내용은 모른다고 표현
새로운 질문 확장 가능
오히려 답변의 품질이 좋아졌고 신뢰도도 높아졌다.
4. 외부 데이터 연결 전략 수립
문제는 내가 보유한 데이터만으로는 다른 산업군까지 연결하기 어려웠다는 점이다.
그래서 AI와 함께 고민한 끝에 공개 데이터를 활용하기로 했다.
선택한 자료는
국내 기금운용계획
국가 예산 공개자료
국방예산 관련 자료
였다.
이를 통해 내 도메인과 다른 산업 영역 사이에 실제 근거가 존재하는 연결점을 찾도록 설계했다.
결과적으로 단순한 키워드 억지 연결이 아니라 정책, 예산, 사업 방향성을 기반으로 새로운 기회를 찾는 방식으로 접근하게 되었다.
5. 기존 자동화 시스템에 반영
문제는 새로운 논리를 기존 자동화 시스템에 어떻게 반영할 것인가였다.
기존 작업물이 손상될까 우려되어 별도 폴더에서 먼저 테스트를 진행했다.
이후 Claude Code에게 아래와 같은 지시를 내렸다.
c:\Users\작업공간\Desktop\문서자동화\generate_guide.py
이 코드를 아래 내용과 첨부 내용을 기준으로 만들어봐.
c:\Users\작업공간\Desktop\문서자동화[Gemini]
26년국방예산언급전략 #1.md
여기서 중요한 점은 원본이 HWP 파일이었지만, 파일 형식에 집착하지 않고 핵심 내용을 Markdown 형태로 정리해서 활용했다는 것이다.
지난주 학습을 통해
"파일 형식을 처리하는 것보다 핵심 내용을 구조화하는 것이 더 중요하다"
는 점을 체감하게 되었다.
6. AI는 생각보다 훌륭한 거짓말쟁이
1주차에는 하나의 완벽한 미팅 가이드를 만들기 위해 수많은 프롬프트를 시도했다.
결과는 그럴듯했다.
문제는 너무 그럴듯했다는 것이다.
모르는 사람이 보면 충분히 믿을 수 있을 정도로 자연스럽게 내용을 만들어냈다.
하지만 실제 검토를 해보면
근거가 부족한 내용
실제 자료에 없는 내용
과도한 추론
들이 섞여 있었다.
그래서 결국 AI에게 일일이 피드백을 주어야 했다.
마치 초등학생의 나머지 공부를 봐주듯
이것은 왜 썼는지
근거가 무엇인지
왜 이런 결론이 나왔는지
하나하나 수정해야 했다.
7. 결과물보다 중요한 것은 '상위 개념'
중요한 것은 현재 결과물을 수정하는 것이 아니었다.
내가 원하는 것은
A 업체
B 업체
C 업체
어떤 회사를 넣더라도 비슷한 품질과 논리 구조가 유지되는 시스템이었다.
그래서 Claude Code에게 다음과 같이 지시했다.
바꿔줘.
그리고 이 명령은 지금 작업하는 md 파일뿐 아니라
상위 개념에서 논리를 기억해야 해.
그러자 Claude Code는 관련된 구조 파일과 설정 파일들을 찾아가며 전체 시스템 관점에서 수정 작업을 수행하기 시작했다.
이 과정을 통해 단순 문서 생성이 아니라 시스템 설계의 중요성을 다시 한번 느끼게 되었다.
결과와 배운 점
가장 크게 배운 점
이번 작업은 단순한 문서 자동화가 아니었다.
실제로는
시스템 설계
데이터 구조 설계
논리 구조 관리
품질 관리
에 가까운 작업이었다.
느낀 점
품질도 중요하지만 일관성은 더 중요하다.
AI는 생각보다 쉽게 그럴듯한 거짓말을 만든다.
좋은 결과물 하나보다 좋은 시스템 하나가 더 중요하다.
"한 번에 딸깍"은 생각보다 멀리 있다.
결국 사람의 검증과 논리 설계가 필요하다.
시행착오
처음에는 하나의 완벽한 템플릿을 만들면 모든 업체에 적용될 것이라고 생각했다.
하지만 실제로는
업체 특성
산업군
시장 상황
고객 성향
에 따라 논리가 달라져야 한다는 사실을 알게 되었다.
즉,
비슷한 입력이라고 해서 항상 비슷한 답이 나오는 것이 아니다.
오히려 상황에 따라 창의적이면서도 근거 있는 분기 로직이 필요했다.
앞으로의 계획
이번 주 작업을 통해 중요한 사실 하나를 깨달았다.
상대 업체의 성격에 따라 AI가 사용하는 논리도 달라져야 한다.
앞으로는
산업군별 분기 로직 설계
공개 데이터 활용 확대
사실 기반 검증 체계 구축
미팅 가이드 품질 일관성 확보
를 중심으로 시스템을 개선해 볼 예정이다.
"좋은 문서를 만드는 것"보다 "좋은 문서를 계속 만들어내는 시스템을 만드는 것"이 더 중요하다는 점을 배우게 된 한 주였다.
