배경 및 목적
저는 생성형 AI와 노코드 툴을 활용해 사용자가 원하는 것을 추천해주는 AI 큐레이션 서비스를 개발해보고 싶어 이 스터디에 참여했습니다. 서비스 구현에 필요한 기능들을 주 단위 프로젝트로 나누어 진행하며, 단계적으로 스터디를 통해 발전시키고자 합니다.
여러분의 좋아요와 많은 참견이 제게는 피가되고 살이되니 많은 관심 부탁드립니다.
1주차 목표: Bubble과 생성형 AI를 활용해 초기 프로토타입을 개발하고, AI 프롬프트 생성 서비스를 구현하는 것을 목표로 했습니다.
1주차 프로젝트: Bubble로 AI 프롬프트 생성 서비스 만들기
참고 자료
• Bubble과 OpenAI API 연동 가이드: Bubble과 OpenAI API를 연동하는 방법에 대한 상구님의 매뉴얼이 큰 도움이 되었습니다. 이 매뉴얼을 참고하여 AI 서비스 구축에 필요한 기본적인 연동 작업을 빠르게 진행할 수 있었습니다. (https://www.seonggoo.com/fed238b5-733c-4e59-953d-94aad3c0f998)
• Anthropic 프롬프트 생성 서비스: Anthropics에서 제공하는 프롬프트 생성 서비스는 이상적인 프롬프트를 생성하기 위한 데이터 수집에 중요한 역할을 했습니다. 이를 기반으로 파인 튜닝 모델을 구축할 수 있었습니다. (https://console.anthropic.com/dashboard)
• OpenAI API Docs: OpenAI의 공식 문서를 통해 API를 파인 튜닝하는 방법과, 파인 튜닝된 API를 사용하는 방법을 학습할 수 있었습니다. 이를 통해 AI 모델을 더 정교하게 맞춤화할 수 있었습니다. (https://platform.openai.com/docs/overview)
활용 툴
• Bubble: 노코드 툴로, 프로그래밍 지식 없이 웹 애플리케이션을 구축할 수 있는 플랫폼입니다. 사용자 인터페이스 설계, 데이터베이스 관리, API 연동 등의 기능을 제공합니다. 이번 프로젝트에서는 웹 인터페이스와 AI API 연동, 데이터 저장 기능을 구현하는 데 사용했습니다.
• OpenAI GPT-4o: 생성형 AI 모델로 더 정교하고 풍부한 텍스트 생성 기능을 구현했습니다. 수집된 데이터를 바탕으로 파인 튜닝을 통해 특정 도메인에 맞춘 모델을 생성했으며, 이를 통해 프롬프트 엔지니어링을 적용한 맞춤형 서비스를 구축했습니다. (Claude 스터디지만 아티팩트 사용이 필요할 때 유료결제 하려고해서 아직 사용하지 않았습니다)
• Anthropic: 초기 프롬프트 생성을 위해 사용했던 유료 서비스로, 이상적인 프롬프트 데이터를 수집하여 OpenAI 모델을 파인 튜닝하는 데 활용했습니다.
실행 과정
1단계: OPENAI API 연동을 통한 AI 서비스 만들기
• 목표: 사용자가 입력한 데이터를 기반으로, AI가 적절한 응답을 생성하고 이를 Bubble 데이터베이스(DB)에 저장하는 기능을 구현.
• 실행: 기능을 수행할 웹페이지를 Bubble을 통해 생성했습니다. 마치 장표 그리는 느낌이 들어 PTSD가 살짝 오긴했는데 누구나 할 수 있는 쉬운 UI였던것 같습니다. OpenAI API를 Bubble에 연동하여, 사용자가 입력한 값에 대해 시스템 프롬프트에 입력된 요구사항에 맞춰 AI가 원하는 값을 생성하는 서비스를 구축했습니다. 생성된 인풋과 아웃풋 데이터는 모두 Bubble 내 DB에 저장되도록 설정하였습니다. 이를 통해 기본적인 AI 서비스의 작동을 확인할 수 있었습니다.
openai docs에서 제공하는 text generate quick start의 curl 코드를 입력한 값입니다.
2단계: Fine Tuning
• 목표: 일반 GPT-4 모델이 아닌, 특정 데이터로 학습된 파인튠 모델을 사용해 더 맞춤화된 프롬프트를 생성하는 AI 서비스 구현.
• 실행: Anthropics에서 제공하는 프롬프트 생성 서비스를 통해 10개의 레퍼런스 프롬프트를 수집했습니다. 이를 기반으로 DOCS를 참고해 Fine Tuning을 위한 json양식으로 변환을 했고 OpenAI의 Fine Tuning UI를 통해 GPT-4o 모델을 파인 튜닝했습니다. 이상적인 프롬프트를 생성할 수 있도록 데이터를 학습시켰고, 유사한 프롬프트를 안정적으로 생성하는 모델을 구축했습니다. 그런 다음, 1단계에서 만든 서비스에 Fine-Tuned 모델 API를 연동하여, 맞춤형 프롬프트를 생성하는 AI 서비스를 구현하고 그 작동을 확인했습니다.
Anthoropic 사용 예시입니다.(Input : Analyze the optimal time and reasons for launching a new product.) 생성된 프롬프트를 학습시켜 다음과 같은 논리적인 프롬프트를 생성하는 서비스를 만들어 보려합니다. 10가지의 질문에 대한 답변으로 fine tuning을 진행했습니다.
openai docs에서 제공된 fine tuning json양식에 맞춰 답변을 정리했고 위 파일을 아래 openai fine tuning ui에 드래그해서 넣어 학습을 시켰습니다.
입력된 json을 바탕으로 100회의 학습을 거쳐 학습이 잘되었다는 걸 확인할 수 있었습니다.
fine tuned model의 api를 1단계에서 했던대로 똑같이 api connector를 통해 연결했습니다.
fine tuned model의 경우 token값을 설정하지 않으면 완성도가 떨어질 수 있어 적정 값을 추가했습니다.
api연결 후 preview를 통해 생성해본 프롬프트 입니다.
결과 및 인사이트
1주차 스터디를 통해 Bubble과 OpenAI API를 연동하여 기본적인 AI 서비스 구조를 구축할 수 있었습니다. 또한, 파인 튜닝된 모델을 적용해 맞춤형 프롬프트 생성 기능 을 확보함으로써, 생각했던 서비스의 실현 가능성을 확인할 수 있었습니다. 업계도 다르고 개발에 대해 전혀 모르던 제가 원하는 걸 하나하나 개발해나가고 있다는게 정말 감개무량한 한주였습니다. 2주차에서는 반응형 디자인으로의 수정과 DB 상세 설계 및 수집 자동화를 진행할 예정입니다.