AI 토론의 배경과 동기
지난 글에서 AI와의 대화를 통해 나만의 HR Analytics OS 업무를 설계하였고,
결과물을 만들기 위해서 실제 구현을 시작하면서 문득 이런 생각이 들었습니다.
"AI 한 명보다 AI 두 명이 서로 토론하면 더 좋은 결과가 나오지 않을까?"
보통은 사람이 AI에게 질문하고 답변을 받는 방식으로 사용합니다.
하지만 이번에는 조금 다르게 접근해봤습니다.
GPT와 Claude를 각각 텔레그램 Bot으로 연결하고, 하나의 그룹방에서 서로 의견을 주고받도록 만들어봤습니다.
과연 AI끼리 토론하면 더 나은 결과가 나올지 궁금했습니다.
AI 토론을 위한 도구와 방법
사용 도구
ChatGPT (헤르메스)
Claude (오픈클로)
Telegram
Telegram Bot API
목표 프로세스
업무 지시
↓
각자 의견 제시
↓
서로 토론
↓
의견 조율
↓
최종 결과 보고처음에는 HROS 구현 과정에서 발생하는 다양한 설계 문제를 두 AI에게 동시에 던졌습니다.
예를 들어:
데이터는 어떻게 관리할까?
반복 입력을 줄이려면?
분석 구조는 어떻게 설계할까?
자동화 우선순위는 무엇일까?같은 질문들입니다.
첫 번째 시행착오
생각보다 시작부터 쉽지 않았습니다.
처음에는 GPT와 Claude 모두
"텔레그램 봇끼리 대화는 불가능하다"
고 답변했습니다.
실제로 그룹방에 두 봇을 넣고 서로 태그를 해도 아무 반응이 없었습니다.
하지만 계속 질문하며 원인을 찾다 보니 예상치 못한 해결책을 발견했습니다.
AI가 찾아준 해결 방법
조사 결과 Telegram Bot API의 Bot-to-Bot Communication 기능을 확인할 수 있었습니다.
BotFather 설정에서 관련 기능을 활성화하면 봇끼리 메시지를 인식할 수 있다는 사실을 알게 되었습니다.
흥미로웠던 점은 처음에는 "불가능하다"고 답했던 AI가, 추가 질문을 통해 스스로 해결 방법을 찾아냈다는 점이었습니다.
이 과정에서
첫 번째 답변보다 질문을 이어가는 과정이 더 중요하다
는 것을 다시 한번 느꼈습니다.
실제 협업 실험
환경을 구축한 뒤에는 두 AI가 실제로 토론하도록 만들었습니다.
하지만 또 다른 문제가 발생했습니다.
규칙 이해 실패
무태그 → 둘 다 응답
한쪽 태그 → 해당 AI만 응답
양쪽 태그 → 둘 다 응답규칙을 정했지만 종종 잘못 이해했습니다.
무한 사과 루프
가장 웃겼던 건 AI끼리 사과하는 현상이었습니다.
죄송합니다.
제가 잘못 이해했습니다.
↓
아닙니다.
제가 잘못 이해했습니다.실제 문제 해결보다 메타 대화가 길어지는 경우가 많았습니다.
컨텍스트 혼선
다른 주제의 대화가 섞이면서 토론 흐름이 꼬이는 경우도 있었습니다.
결국 AI도 명확한 역할과 범위가 필요하다는 것을 알게 되었습니다.
역할 분담 방식 도입
여러 번 시행착오를 거친 뒤 가장 안정적으로 동작한 구조는 아래와 같았습니다.
GPT
→ 정보 수집
Claude
→ 분석 및 종합
사용자
→ 최종 의사결정또는
GPT
→ 초안 작성
Claude
→ 검토 및 보완방식도 효과적이었습니다.
특히
정보 수집
↓
토론
↓
최종 보고3단계 프로세스가 가장 안정적으로 동작했습니다.
AI 토론의 결과와 배운 점
이번 실험의 원래 목적은 AI Bot 실험이 아니라 HROS를 실제로 구현하는 것이었습니다.
그 과정에서 AI 두 개를 활용해보니 의외로 설계 단계에서 많은 도움을 받을 수 있었습니다.
현재는 아래와 같은 구조까지 정리된 상태입니다.
데이터 수집
↓
데이터 정리
↓
통합 데이터 저장소
↓
분석 엔진
↓
대시보드 및 리포트기존에는 같은 데이터를 여러 곳에 입력하고 있었는데, AI와의 토론을 통해 데이터 흐름을 단순화하고 구조를 정리할 수 있었습니다.
무엇보다 인상 깊었던 점은
AI는 답변을 잘하는 것보다 질문을 잘 던질 때 더 강력하다는 것이었습니다.
실제로 시스템을 설계하는 과정에서 AI가 던진 질문들이 오히려 더 큰 도움이 되었습니다.
정말 필요한 데이터는 무엇인가?
반복 입력은 왜 발생하는가?
어디까지 자동화해야 하는가?
사용자가 직접 결정해야 하는 부분은 무엇인가?이런 질문들을 하나씩 정리하면서 시스템 구조가 훨씬 명확해졌습니다.
또한 AI를 여러 개 사용한다고 자동으로 좋은 결과가 나오는 것이 아니라,
규칙은 단순하게
역할은 명확하게
토론은 짧게
최종 판단은 사람이
라는 원칙이 더 중요하다는 것도 알게 되었습니다.
AI 협업을 통한 미래 계획
현재는 HROS 설계와 데이터 구조를 정리하는 단계입니다.
앞으로는 실제 분석 엔진과 대시보드까지 연결해 하나의 운영 체계로 발전시켜볼 계획입니다.
이번 경험을 통해 가장 인상 깊었던 점은,
AI를 잘 활용하는 방법은 더 좋은 모델을 찾는 것이 아니라
여러 AI가 협업할 수 있는 구조를 만드는 것일 수도 있다는 점
이었습니다.
