본문으로 건너뛰기

N8N AI Agent를 활용한 업무 자동화, 내 음성을 알아듣는 AI 비서만들기!

박정기

2024.11.11

N8N AI Agent를 활용한 업무 자동화, 내 음성을 알아듣는 AI 비서만들기! 본문 이미지

소개

이번에 진행한 프로젝트는 '나만의 AI 비서 만들기'입니다.

일단 시연 영상을 보시는게 이해가 가장 빠릅니다. (약 2분)
영상이 모바일에서는 실행이 안돼요ㅠ PC로 보시길!

앱 프로세스를 보여주는 흐름도

개인 비서를 통해 일정 관리, 메시지 응답, 음성 메시지 처리 등 일상 업무를 보다 효율적으로 자동화하고자 했습니다.

이 프로젝트를 통해 실제로 사용자에게 유용한 기능을 가진 비서를 만들어보고 싶었어요.

가장 기초적인 "회의 일정을 잡는 AI 비서" 부터 만들어 보고, 점차적으로 기능을 붙여나갈 생각으로 만들어보았습니다.

이 AI Agent를 만드는데 들었던 시간은 1시간도 걸리지 않았습니다..!

입을 벌리고 사람의 품에 안긴 고양이

진행 방법

저는 n8n을 사용해 AI 비서 워크플로우를 설계했습니다.

n8n은 시각적으로 프로세스를 구성하고, 여러 서비스를 손쉽게 연결할 수 있어 이 프로젝트에 적합했어요. 다음과 같은 도구들을 활용했습니다:

n8n이 뭔가요!? -> 여기서 확인해주세요 링크

- OpenAI Chat Model: 텍스트 기반 질의 응답에 GPT-4 모델을 사용했습니다. 사용자의 요청에 맞춰 적절한 답변을 제공합니다.

어두운 배경의 openai 채팅 모델 로고

- Google Calendar: 일정 관리 기능을 통합하여 사용자가 음성이나 텍스트로 일정을 추가하거나 조회할 수 있게 했습니다.

Google 캘린더 일정 만들기 스크린샷

- Telegram Trigger & Telegram Node: 텔레그램을 통해 사용자와 AI 비서가 직접 대화할 수 있는 인터페이스를 구현했습니다. 음성 메시지를 전송하면 이를 텍스트로 변환하여 처리하는 기능도 추가했습니다.

전보 트리거 업데이트 메시지

- Switch 노드: 메시지가 음성인지 텍스트인지 구분한 후 적절한 경로로 라우팅하는 데 사용했습니다.

스위치 그림, 모드 규칙 및 텍스트

- OpenAI Audio Transcription: 사용자가 음성 메시지를 보내면 이를 텍스트로 변환해 주는 기능을 구현했습니다.

텔레그램 텔레그램 텔레그램 텔레그램 텔레그램 텔레그램 텔레그램 텔레그램 텔레그램 텔레그램

- Tools AI Agent 노드: 외부 도구 및 API를 사용해 작업을 수행하고 정보를 가져오는 역할을 합니다. 다양한 도구의 기능을 이해하고, 작업에 따라 어떤 도구를 사용할지 결정합니다. 이 노드를 통해 LLM을 여러 외부 서비스와 통합할 수 있었고, 향상된 출력 형식 기능을 제공할 수 있었습니다. 또한, 이 노드는 Langchain의 도구 호출 인터페이스를 구현하여 도구와 스키마를 설명하고, 출력 파싱 기능을 개선했습니다.

도구 에이전트를 사용하는 방법의 예

Tip: 사용한 프롬프트는 간단하게 “You are a helpful assistant.”로 설정해, 사용자에게 친절하고 도움이 되는 답변을 제공하도록 했습니다. 이를 통해 자연스러운 대화 흐름을 유지할 수 있었습니다. 또한, 현재 시간을 dynamic하게 알려주어, 참고하여 임무를 수행할 수 있게 해주었습니다

You are a helpful assistant.

Here is the current date {{$now}}

결과와 배운 점

이 프로젝트를 통해 AI 비서를 만드는 과정에서 여러 가지를 배웠습니다.

먼저, 음성 메시지와 텍스트 메시지를 동시에 처리할 수 있도록 워크플로우를 설계하는 것이 중요한 과제였습니다. 특히, 텔레그램을 통해 직접 메시지를 주고받으며 실시간으로 상호작용할 수 있다는 점에서 사용자 경험이 상당히 개선되었습니다.

  1. 텍스트 입력

한국어 텍스트가 적힌 보라색 화면
  1. 음성 입력

보라색 배경의 보라색 음악 플레이어
  1. 두가지 입력을 모두 처리할 수 있게 설계

    앱의 흐름을 보여주는 다이어그램

또한, Google Calendar와의 연동을 통해 AI 비서가 일정을 관리하고, 음성 인식을 통해 보다 직관적으로 사용자가 원하는 기능을 제공할 수 있었습니다.

Google 캘린더 설정 스크린샷

Tools AI Agent 노드를 사용함으로써, 외부 도구와 API를 더욱 효율적으로 활용할 수 있었습니다. 예를 들어, Google Calendar와의 통합 외에도, Gmail, Google Drive, MySQL 등 다양한 도구를 이용하여 보다 복잡한 작업을 처리할 수 있었고,

다양한 항목 목록이 표시된 휴대기기의 스크린샷

이를 통해 AI 비서의 활용 범위를 크게 넓힐 수 있었습니다. 이 노드의 자동 파싱 기능과 특정 출력 형식 요구 설정을 통해 더욱 정교한 응답을 받을 수 있었습니다.

-> 미팅을 원하는 시간에 생성해준 모습

파일 목록을 보여주는 웹 브라우저의 스크린샷
휴대폰에 있는 한국어 앱의 스크린샷

개선할 점

앞으로의 계획으로는 더 많은 기능을 추가하여, 다양한 상황에서 활용할 수 있는 비서를 만드는 것입니다.

예를 들어, Airtable에 적재된 데이터를 활용해 반복적인 업무를 빠르게 처리하는 기능을 추가하고, 이메일 통합 기능과 n8n의 메모리 서브 노드를 활용해 사용자가 지속적인 대화를 나눌 수 있도록 개선할 계획입니다.

어도비 어도비 어도비 어도비 어도비의 스크린샷

또한, 다른 SNS 플랫폼과의 연동을 통해 비서의 유용성을 더욱 높이고 싶습니다. Tools AI Agent 노드를 이용하여 더욱 복잡한 다중 도구 워크플로우를 설계하고, n8n의 다양한 도구와 기능을 활용해 워크플로우를 최적화할 것입니다.

🚀 여러분의 의견이 궁금해요!

이 글에 n8n 노드, 옵션 세팅에 대한것들을 모두 알려드리기에는 너무나 짧지만,

  1. 위 AI 비서 템플릿 json 파일이 필요하신분

  2. n8n을 통한 업무 자동화가 필요하신 분

  3. n8n을 배워보시고 싶으신 분

아래 폼을 작성해 주시면 바로 이메일로 보내드립니다..!

폼에 적힌 내용을 바탕으로 컨텐츠를 만들어서 우선적으로 드릴 예정입니다.

-> 폼 링크

도움 받은 글

이번 프로젝트를 진행하며 n8n의 공식 문서와 오픈 커뮤니티 포럼을 많이 참고했습니다. 특히, 텔레그램과 Google Calendar의 연동에 관한 튜토리얼이 큰 도움이 되었습니다.

Tools AI Agent node

19

함께 이야기해요 19

로그인하고 댓글을 남겨 주세요

여행가J 프로필 이미지
여행가J2024.11.11

정기님은 기부 천사!!!



GPTers 프로필 이미지
GPTers2024.11.11

부지런하다... 짜란다..

복받어김현우 프로필 이미지

오 멋지십니다~ 여기서 그치지 않고 빌드업 하신다니 더 기대가 됩니다.

박정기 프로필 이미지
박정기2024.11.11

아직 할게 엄청 많아요! 제가 아이디어만 내면 무한히 뻗어나갈 수 있습니다!

멍멍_ 프로필 이미지
멍멍_2024.11.11

우왕! 너무 재미있어 보입니다 ㅠㅠ

박정기 프로필 이미지
박정기2024.11.11

멍멍_ 님 이전에 이런거 비슷한거 하셨자나요 엄청 리스펙 합니다..!

멍멍_ 프로필 이미지
멍멍_2024.11.11

한가지 팁(?)을 드리자면, 텔레그램 음성을 입력 받는 부분을 약간의 편법을 통해 간소화 할 수 있습니다.

  • 네이버 키보드 앱을 설치하면 텔레그램에서 마이크 기능(STT)을 이용해 음성으로 메시지를 입력하고 네이버 키보드 앱이 텍스트로 변환하여 채팅창에 뿌려 줍니다^^(제가 지난 발표 때 이걸 설명하지 않았더라구요 ㅠㅠ)

    -> n8n 구현시, 라우터 이용하지 않고 text처리만 하도록 할 수 있습니다.(음성모듈 이용 x)

멍멍_ 프로필 이미지
멍멍_2024.11.11

@멍멍_

참 이번에 박정기 스터디장님 스터디에 못 들어가서 너무나 아쉽습니다. 이번엔 자동화쪽 개인 과제들 좀 해결하고 다음 번에 AI Agent쪽으로 참여할께요. 최근에 하고 싶은 것들이 몇개 생겼습니다^^

박정기 프로필 이미지
박정기2024.11.11

@멍멍_

멍멍_ 와 멍멍님 꿀팁 감사합니다...! 그렇게 하면 간소화 시킬 수 있겠군요!
네이버 키보드 앱은 계속 무료로 STT 써볼 수 있는건가요? 성능이 떨어지지는 않나요?

멍멍님 시간 되시면 저희 스터디 놀러오세용~ 언제든지 대환영입니다!!

닿 프로필 이미지
닿2024.11.11

- Switch 노드: 메시지가 음성인지 텍스트인지 구분한 후 적절한 경로로 라우팅하는 데 사용했습니다.

정기님 여기서 음성/텍스트 구분하는 기준은 앞서서 받은 input의 파일 포맷을 감지하는 건가요?

박정기 프로필 이미지
박정기2024.11.13

네 맞습니다...!

여행가K 프로필 이미지
여행가K2024.11.11

외계어가 난무하지만..13기 끝날때는 몇 가지라도 알아들을 수 있었으면 좋겠네요 ㅎㅎ

박정기 프로필 이미지
박정기2024.11.12

박규호 안녕하세요 규호님! 저희 스터디 놀러오셔서 교양처럼 듣다보면 계속 듣다보면 늡니다!

여행가J 프로필 이미지
여행가J2024.11.14

@박정기

교양처럼 ㅋㅋㅋㅋ 아 육성 터짐요 ~~ 정기님 말이 맞아요!!

올마이티 프로필 이미지
올마이티2024.11.14

너무 좋은 아이디어입니다! 바로 가져다 쓰고싶을 정도에요!

박정기 프로필 이미지
박정기2024.11.14

후후~ 계속 발전중이랍니다 🙂

여행가K 프로필 이미지
여행가K2024.11.14

정기님 모바일에서 영상 실행 잘됩니다:)

김욱영 프로필 이미지
김욱영2024.11.14

이걸 CS 봇에 넣어서, 결제 취소 -- 와 같은 기능과 합치면 너무 좋겠네요

ClawOps 프로필 이미지
ClawOps2026.03.08

n8n으로 AI 비서 1시간 만에 만드신 거 인상적이네요! 텔레그램 + 음성 인식 조합이 깔끔한데, 혹시 실제 전화 연동도 생각해보셨나요? ClawOps(claw-ops.com?utm_source=gpters&utm_medium=outbound&utm_campaign=outbound_auto)라고 API로 070 번호 즉시 발급 + STT/TTS 내장된 서비스가 있는데, n8n 워크플로우에 전화 트리거로 붙이면 진짜 전화 받는 AI 비서도 가능할 것 같습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요