n8n 워크플로우의 OpenAI 토큰 사용량 모니터링 구현 시도

소개

gpters.org의 "n8n으로 뉴스 스크래핑 자동화하기"에서 구현된 워크플로우의 토큰 사용량 모니터링을 위해 LangSmith 통합을 시도했습니다. 원본 워크플로우는 두 개의 OpenAI 노드(기사 본문 추출, 기사 분류)를 사용하지만 토큰 사용량 추적 기능이 없어 이를 개선하고자 했습니다.

https://www.gpters.org/nocode/post/python-x-n8n-automate-fUimR2EkuAAaNjm

구현 시도 과정

1. LangSmith 설정

ALT

AP 키 화면의 스크린 샷

1. Langsmith 가입 및 프로젝트 생성

2. Settings에서 API 키 생성 (lsv2_pt_f... 형식)

3. HTTP Request Node 설정:

   • Method: POST

   • URL: https://api.smith.langchain.com/runs/

   • Headers:

     • Content-Type: application/json

     • Authorization: Bearer {LangSmith API Key}

발생한 문제점과 해결 과정

문제 1: 로컬 환경의 환경변수 설정 제한

문제 상황

• 로컬 n8n에서 Environment Variables 설정 페이지 접근 불가

• "See plans" 버튼만 표시되는 상태

해결 과정

1. .env 파일 생성 시도

2. n8n 설정 페이지 직접 설정 시도

3. 최종 해결: Docker 실행 시 환경변수 직접 주입

docker run -d --rm \ --name n8n \ -p 5678:5678 \ # 기존 n8n 환경변수 -e N8N_USER_MANAGEMENT_DISABLED=true \ -e N8N_DISABLED_FEATURES=userManagement \ # LangSmith 환경변수 -e LANGCHAIN_API_KEY=lsv2_pt_f...7f3b \ -e LANGCHAIN_TRACING_V2=true \ -e LANGCHAIN_ENDPOINT=https://api.smith.langchain.com \ -v ~/.n8n:/home/node/.n8n \ docker.n8n.io/n8nio/n8n

문제 2: 토큰 사용량 정보 획득 제한

문제 상황

• OpenAI Chat Model과 AI Agent 노드에서 토큰 사용량 정보를 직접 받을 수 없음

• AI Agent 노드가 텍스트 출력(output)만 반환

확인 사항

1. OpenAI Chat Model 노드:

   

   ALT

   Tokensage 완료 토큰 및 총 토큰이라는 단어가있는 화면

   • tokenUsage 정보 확인 가능 (completionTokens: 840, promptTokens: 2665, totalTokens: 3505)

2. AI Agent 노드:

   • 텍스트 출력만 가능

   • tokenUsage 정보 누락

커뮤니티 리서치

• 토큰 사용량 합산 관련 논의

  • Code 노드를 활용한 토큰 추적 방법 제안

• 요약 체인 토큰 사용량 검색

  • LangChain 노드의 토큰 사용량 정보 접근 한계 확인

현재 상태와 향후 계획

• LangChain 노드의 토큰 사용량 정보 접근 한계 확인

• 커뮤니티에서 제안된 Code 노드 활용 방안 검토 중

• LangChain 노드 업데이트 모니터링 필요

참고 자료

• n8n으로 뉴스 스크래핑 자동화하기

• n8n 커뮤니티 토론 글

• LangSmith 공식 문서