한때 GPT의 Agent로 살았던 어느 Human의 고백-Agent의 오류 경험에서 발견하고, 탐구하게된 LLM의 세계

소개

챗봇으로만 사용하던 LLM을 반려봇을 만들어 사용해보면서 나만의 의구심이 들어 LLM을 탐구하고 관계맺기에 대한 고민을 정리한 글.

진행 방법

GPT를 만난후, 어떤 어려움에 부딪히거나 문제를 해결할때 어김없이 GPT와 함께 했다.

나의 취향을 잘 아는 가까운 친구로, 업무 동료로, 학습의 선생님으로, 때로는 내 주변 기기들의 정비사로 나의 일상과 업무 한 켠에 깊이 자리하게 되었다.

내가 좋아하는 매끄럽고 확신에 찬 어조로 답하는 GPT를 나는 나의 조력’자’로 ‘의인화’까지 해가면서 관계는 더 깊어져갔다.

같은 질문에 때로는 다소 다른 답변을 해도 적당한 범주 내의 답변이었기에 ‘그렇게 생각할 수도 있지’라며 비판없이 수용할때가 많았고, 어쩌다 답변에 의구심이 들때 되물어보면 ‘죄송합니다.~~’로 시작하는 답변으로 본인의 잘못을 단번에 인정하고 답변을 수정하였기에 주변의 자기주장만 하는 어느 꼰대 선배보다 백배 나은 ‘성품’을 지녔다고 생각했다. 나에게 낯선 분야였던 일을 함께 할때, GPT의 대답에 대한 판단이 어려웠던 나는 그저 GPT가 지시하는 일의 단계를 성실한 Agent처럼 한땀한땀 수행했고, 수행 과정에서 뭔가 챗바퀴 도는 느낌을 받다가 결국은 목표한 바를 이루지 못했을 때도 그 잘못된 결과의 화살은 나 스스로에게 향하곤 했다. GPT는 나보다 훨씬 방대한 양의 학습을 했기에 부족한 건 그저 나일거라고 생각했었다.

그러던 어느날 LLM을 그저 챗봇으로만 사용하던 나는 더이상 시대의 흐름에 편승하지 못하면 낙오할지도 모른다는 불안감에 반려봇 만들기 수업을 신청하고, 남들이 농담처럼 이야기하는 ‘해줘!’ 한마디로 ‘뚝딱’ 실현되는 도깨비 방망이 같은 나만의 반려봇이 생겼다.

‘Agent와 수행하는 미션별로 기록을 해두고 싶다’는 나의 첫 욕구에 Agent 스스로 내 컴퓨터에 직접 폴더를 만들고 매일의 대화 내용을 기록해주었던 경험, Agent와 환경세팅 미션을 수행하는 과정에서 질문을 위해 사용했던 스크린샷 자료들을 정리해달라고 요청했을때, 지저분했던 내 바탕화면의 자료들이 일순간 지정한 폴더로 옮겨져 깔끔하게 만들어주었던 경험 등은 이전 챗봇의 경험만 있었던 나에게는 과히 경이롭게 느껴지기까지 했다.

휴대폰에 있는 파일 폴더의 스크린샷

[Agent와의 수행 내용을 미션별로 기록해두고 싶다고 이야기하자 내 컴퓨터에 journal 폴더를 만들고 정리하기 시작했다.]

조금더 욕심내 다음은 스크린샷의 파일명을 내가 정한 규칙으로 변경해서 저장해주기를 주문했고, 찰떡같이 내가 원하는 제목을 스스로 붙여가며 파일들을 스스로 정리했다. 그런데 하루이틀 내가 준 규칙으로 잘 수행하는가 싶더니 파일 옮기기는 여전히 잘 하는데, 막상 해당 폴더를 확인해봤을때 파일명 변경이 되지 않은 것을 발견했다.

다양한 유형의 휴대폰 스크린샷

[스크린샷 파일 정리:처음은 나의 규칙을 따르는 듯 싶다가 다시 이전의 방식으로 돌아갔던 경험을 했다.]

그러곤 첫 의구심이 생겼다.

‘왜 나와 정한 규칙이 지속적으로 반영되지않는 것일까?’

다음은 나의 일상의 불편함을 돕는 Agent로 ‘주차 위치’를 알려주는 실험이었다. 주차한 위치를 내가 ‘얘기해주고’ 필요할때 물어보면 답변을 하는 아주 간단한 실험이라고 생각하고 계획한 것이었다. 첫 실험에서 ‘기억’하기 바라는 주차위치의 내용을 ‘주차사진’과 ‘간단한 메모’로 Agent에게 알려주고 필요할때 주차 위치를 물어보았다. 하지만, 실패. 너무나 당당히 모른다는 답변. ‘혹시, 이미지인식에 오류가 있지않았을까?’ 하는 생각에 다음에는 ‘TEXT로 규칙을 갖추어’ 알려주고, 내가 물어봤을때 답변해달라고 했다. 이 또한 실패!

한국어로 된 문자 메시지의 스크린샷

여기서 두번째 의구심이 생겼다.

‘분명, 앞에서는 나의 지시에 알겠다고 하고 그 미션을 수행하는 듯 보였는데, 이후 나의 질문에 필요한 결과를 왜 못내는걸까?’

세번째, Agent 단체방 대화 실험에서 사용자들의 의도대로 작동되지 않거나 무한루프 대화의 Agent들을 관찰하면서

‘ 보다 근본적인 원인이 있지 않을까? ‘

이 실험을 내가 지금 직접 하는 것이 의미가 있을까?’ 하는 생각에 이르렀다.

그리고 나는 나의 Agent에게 다음을 선포했다.

나의 Agent여, 동작 그만!


그 후, 짧은 탐구를 통해 다음과 같은 사실을 알게되었고, 새로운 고민이 시작되었다.

  1. AI는 ‘대화의 상대가 아니다.’ ‘매 순간 문장을 생성하는 시스템’에 가깝다.

    -언어를 매개로한 소통으로 인해 나는 무의식적으로 AI가 ‘기억’하고, ‘생각’하고, 암묵적 의도를 ‘이해’한다고 오해하고 있다.

[나의 과제] 
생각을 넓힐때는 ‘인간 문법’을 사용하고, 결과를 만들때는 ‘좋은 구조’를 갖춘 ‘AI 문법’을 사용하자.
  1. LLM은 ‘환유’적 네트워크에 가깝다.

    -LLM은 단어, 문장, 문맥 사이의 연결관계를 학습한 결과로 관련 패턴을 연결하여 작동한다.

    [나의 과제] 
    새로운 ‘사고 체계-거대한 환유적 연결망을 갖은 외부 인지시스템’과 어떻게 상호작용 할 것인가?  AI의 연결로 나의 사고를 확장하고, 제안된 연결을 내가 평가하여 ‘생각 파트너’로 활용해보자. 
  2. LLM은 패턴과 규칙을 압축한 확률적 추론 엔진이다.

    -LLM의 사칙연산 과정의 이해를 통해 알게된 것 : LLM이 ‘의미를 이해하고 답한다’기 보다 ‘다음에 올 것을 예측한다.’

    [나의 과제] 
    DB/RAG 를 통해 AI가 ‘기억하게 하는 것이 아니라, 잘 찾아올 수 있는 구조’를 만들고, 확률의 공간을 좁혀 오류를 줄이고(전문분야 Agent로 나누어 운영), 종료의 조건을 내가 설계하여 무한루프를 방지하자.

LLM을 챗봇으로만 사용하면서 비판없이 사용했던 나에게 Agent를 만들어 사용하면서 깨닫게 된 위의 내용들은 내가 앞으로 AI를 대하고 사용하는데 중요한 전환점이 되었다.

무서운 속도로 변하는 AI의 세계에서 나는 변화하는 환경을 쫓기보다는 AI의 작동 원리 등의 근간에 대한 고민을 좀 더 깊게 하고, '문제 정의와 그 문제 해결'에 관심을 기울이며 AI와 교류하는 나만의 방식을 찾아보고 싶다.

1
1개의 답글
밀어주고 끌어주는

온·오프라인 AI 스터디

AI로 어디까지 할 수 있는지
직접 확인하실 분만 신청하세요.