N8N AI Agent를 활용한 업무 자동화, 내 음성을 알아듣는 AI 비서만들기!

소개

이번에 진행한 프로젝트는 '나만의 AI 비서 만들기'입니다.

일단 시연 영상을 보시는게 이해가 가장 빠릅니다. (약 2분)
영상이 모바일에서는 실행이 안돼요ㅠ PC로 보시길!

개인 비서를 통해 일정 관리, 메시지 응답, 음성 메시지 처리 등 일상 업무를 보다 효율적으로 자동화하고자 했습니다.

이 프로젝트를 통해 실제로 사용자에게 유용한 기능을 가진 비서를 만들어보고 싶었어요.

가장 기초적인 "회의 일정을 잡는 AI 비서" 부터 만들어 보고, 점차적으로 기능을 붙여나갈 생각으로 만들어보았습니다.

이 AI Agent를 만드는데 들었던 시간은 1시간도 걸리지 않았습니다..!

진행 방법

저는 n8n을 사용해 AI 비서 워크플로우를 설계했습니다.

n8n은 시각적으로 프로세스를 구성하고, 여러 서비스를 손쉽게 연결할 수 있어 이 프로젝트에 적합했어요. 다음과 같은 도구들을 활용했습니다:

n8n이 뭔가요!? -> 여기서 확인해주세요 링크

- OpenAI Chat Model: 텍스트 기반 질의 응답에 GPT-4 모델을 사용했습니다. 사용자의 요청에 맞춰 적절한 답변을 제공합니다.

- Google Calendar: 일정 관리 기능을 통합하여 사용자가 음성이나 텍스트로 일정을 추가하거나 조회할 수 있게 했습니다.

- Telegram Trigger & Telegram Node: 텔레그램을 통해 사용자와 AI 비서가 직접 대화할 수 있는 인터페이스를 구현했습니다. 음성 메시지를 전송하면 이를 텍스트로 변환하여 처리하는 기능도 추가했습니다.

- Switch 노드: 메시지가 음성인지 텍스트인지 구분한 후 적절한 경로로 라우팅하는 데 사용했습니다.

- OpenAI Audio Transcription: 사용자가 음성 메시지를 보내면 이를 텍스트로 변환해 주는 기능을 구현했습니다.

텔레그램 텔레그램 텔레그램 텔레그램 텔레그램 텔레그램 텔레그램 텔레그램 텔레그램 텔레그램

- Tools AI Agent 노드: 외부 도구 및 API를 사용해 작업을 수행하고 정보를 가져오는 역할을 합니다. 다양한 도구의 기능을 이해하고, 작업에 따라 어떤 도구를 사용할지 결정합니다. 이 노드를 통해 LLM을 여러 외부 서비스와 통합할 수 있었고, 향상된 출력 형식 기능을 제공할 수 있었습니다. 또한, 이 노드는 Langchain의 도구 호출 인터페이스를 구현하여 도구와 스키마를 설명하고, 출력 파싱 기능을 개선했습니다.

Tip: 사용한 프롬프트는 간단하게 “You are a helpful assistant.”로 설정해, 사용자에게 친절하고 도움이 되는 답변을 제공하도록 했습니다. 이를 통해 자연스러운 대화 흐름을 유지할 수 있었습니다. 또한, 현재 시간을 dynamic하게 알려주어, 참고하여 임무를 수행할 수 있게 해주었습니다

You are a helpful assistant.

Here is the current date {{$now}}

결과와 배운 점

이 프로젝트를 통해 AI 비서를 만드는 과정에서 여러 가지를 배웠습니다.

먼저, 음성 메시지와 텍스트 메시지를 동시에 처리할 수 있도록 워크플로우를 설계하는 것이 중요한 과제였습니다. 특히, 텔레그램을 통해 직접 메시지를 주고받으며 실시간으로 상호작용할 수 있다는 점에서 사용자 경험이 상당히 개선되었습니다.

텍스트 입력

음성 입력

두가지 입력을 모두 처리할 수 있게 설계

또한, Google Calendar와의 연동을 통해 AI 비서가 일정을 관리하고, 음성 인식을 통해 보다 직관적으로 사용자가 원하는 기능을 제공할 수 있었습니다.

Tools AI Agent 노드를 사용함으로써, 외부 도구와 API를 더욱 효율적으로 활용할 수 있었습니다. 예를 들어, Google Calendar와의 통합 외에도, Gmail, Google Drive, MySQL 등 다양한 도구를 이용하여 보다 복잡한 작업을 처리할 수 있었고,