[문과생도 AI] 돌봄서비스를 위한 대화형 음성 챗봇 구현하기
2024.06.18
![[문과생도 AI] 돌봄서비스를 위한 대화형 음성 챗봇 구현하기 본문 이미지](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2F923a1463c757342f9ed1da51.png&w=3840&q=75)
(기획 의도)
지난 주 “노인들의 친구는 AI...경기도 'AI 노인말벗서비스' 2개월만에 신청자 5000명”라는 신문기사를 보고서 저는 ChatGPT를 활용하여 앞서 기사에 나온 현재 N사에서 구축한 ‘HappyCall’과 비교해 볼 수 있는 대화형 서비스를 만들어 보고 싶었습니다.
또한 금번 11기 캠프 주제인 크롤링을 이용하여 돌봄서비스를 위한 다양한 컨텐츠를 수집하고 제공하는 서비스를 만들어 보고자 합니다.

(서비스 및 개발 기획)
Q : 노인들을 위한 자연스러운 대화가 가능한 음성 챗봇서비스를 구현하고자 합니다. 필요한 서비스 개발 환경과 조건을 설명해주세요. 단, chatgpt를 이용하고자 합니다.
A : ChatGPT를 이용해서 노인들을 위한 자연스러운 대화가 가능한 음성 챗봇 서비스를 개발하려면 다음과 같은 단계로 진행할 수 있습니다.
1. 사전 준비
OpenAI API 키 발급: OpenAI의 GPT-3 또는 GPT-4 API를 사용하기 위해 API 키를 발급받아야 합니다.
개발 환경 설정: Python, Node.js 등의 개발 언어와 환경을 설정합니다. 필요한 패키지들을 설치합니다.
2. 음성 인식 및 합성
음성 인식: Google Cloud Speech-to-Text, IBM Watson Speech to Text 등의 서비스를 사용하여 음성을 텍스트로 변환합니다.
음성 합성: Google Cloud Text-to-Speech, Amazon Polly 등의 서비스를 사용하여 텍스트를 음성으로 변환합니다.
3. 자연어 처리 및 대화 관리
OpenAI API 사용: ChatGPT 모델을 사용하여 자연어 처리를 수행합니다.
import openai
openai.api_key = 'your-api-key'
def get_chatgpt_response(prompt):
response = openai.Completion.create(
engine="gpt-4", # 또는 "gpt-3.5-turbo"
prompt=prompt,
max_tokens=150,
n=1,
stop=None,
temperature=0.9,
)
return response.choices[0].text.strip()
4. 사용자 인터페이스 개발
웹 애플리케이션: Flask, Django 등으로 웹 애플리케이션을 개발하거나 React, Vue.js 등을 사용하여 프론트엔드를 구현합니다.
모바일 애플리케이션: React Native, Flutter 등을 사용하여 모바일 애플리케이션을 개발합니다.
스마트 스피커 연동: Alexa Skills Kit, Google Actions 등을 사용하여 스마트 스피커와 연동합니다.
5. 통합 및 배포
음성 입력 및 출력 통합: 음성 인식 및 합성 모듈과 ChatGPT API를 통합하여 사용자 입력을 처리하고 응답을 생성합니다.
from flask import Flask, request, jsonify import openai import speech_recognition as sr from google.cloud import texttospeech app = Flask(__name__) openai.api_key = 'your-api-key' @app.route('/chat', methods=['POST']) def chat(): audio_file = request.files['audio'] recognizer = sr.Recognizer() with sr.AudioFile(audio_file) as source: audio = recognizer.record(source) text = recognizer.recognize_google(audio) response_text = get_chatgpt_response(text) client = texttospeech.TextToSpeechClient() synthesis_input = texttospeech.SynthesisInput(text=response_text) voice = texttospeech.VoiceSelectionParams(language_code="en-US", ssml_gender=texttospeech.SsmlVoiceGender.NEUTRAL) audio_config = texttospeech.AudioConfig(audio_encoding=texttospeech.AudioEncoding.MP3) response = client.synthesize_speech(input=synthesis_input, voice=voice, audio_config=audio_config) return response.audio_content, 200, {'Content-Type': 'audio/mp3'} def get_chatgpt_response(prompt): response = openai.Completion.create( engine="gpt-4", prompt=prompt, max_tokens=150, n=1, stop=None, temperature=0.9, ) return response.choices[0].text.strip() if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)
6. 데이터 보안 및 개인정보 보호
HTTPS 사용: 서버 통신을 HTTPS로 암호화하여 데이터를 보호합니다.
사용자 데이터 보호: GDPR, HIPAA 등의 법규를 준수하여 사용자 데이터를 보호합니다.
7. 유지보수 및 개선
피드백 수집: 사용자 피드백을 수집하고 분석하여 서비스 개선에 반영합니다.
모델 업데이트: OpenAI의 최신 모델을 사용하여 지속적으로 챗봇의 성능을 개선합니다.
추가적인 고려사항
접근성: 노인 사용자를 고려한 접근성 기능을 제공해야 합니다. 예를 들어, 큰 글씨, 명확한 음성 안내, 간단한 UI 등이 필요합니다.
테스트: 다양한 시나리오에 대해 테스트를 실시하여 챗봇의 정확성과 안정성을 확인합니다.
이와 같은 과정을 통해 ChatGPT를 기반으로 한 음성 챗봇 서비스를 개발할 수 있습니다.
이렇게 전체적인 방향은 설정되었는데 검증도 필요하고, 앞으로 계속 실제 프로그래밍과 라이브러리를 설치하면서 구현하기로 합니다.
#11기문과생도AI
로그인하고 댓글을 남겨 주세요
프로그램을 활성화한 후에 말을 걸면 채팅 모드가 됩니다. 질문과 답변을 하다가 “종료”, “감사합니다”, “없습니다”라고 하면 채팅모드가 종료되고 대기모드로 바뀌는 프로그램까지 진행을 하였습니다.
text_to_speech(13).exe그 결과 음성으로 묻고 음성으로 답변하는 파일을 다음과 같이 만들 수 있었습니다.
한번 사용해 보세요^^
이제 실행 파일(.exe)을 만들어 보았습니다.

출력된 음성 파일입니다.
response.mp3그 결과 다음과 같은 출력과 함께 이어폰으로 음성 출력도 되었습니다.

텍스트로 바꾼 질문을 chatgpt에 입력하여 답변을 다시 음성으로 나오게 하는 코드를 작성했습니다.
import speech_recognition as sr
from gtts import gTTS
import pygame
import openai
# OpenAI API 설정openai.api_key = my api_key'
# 마이크를 통해 음성 입력을 받기 위해 Recognizer 객체 생성recognizer = sr.Recognizer()
def recognize_speech(): with sr.Microphone() as source: print("말씀해주세요...") recognizer.adjust_for_ambient_noise(source) audio = recognizer.listen(source)
try: text = recognizer.recognize_google(audio, language='ko-KR') print("인식된 텍스트: " + text) return text except sr.UnknownValueError: print("음성을 인식할 수 없습니다.") return None except sr.RequestError as e: print(f"Google Web Speech API 요청 오류: {e}") return None
def get_chatgpt_response(prompt): response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[{"role": "user", "content": prompt}] ) message = response['choices'][0]['message']['content'] return message
def text_to_speech(text): tts = gTTS(text=text, lang='ko') tts.save("response.mp3") # pygame을 사용하여 음성 출력 pygame.mixer.init() pygame.mixer.music.load("response.mp3") pygame.mixer.music.play() while pygame.mixer.music.get_busy(): continue
# 음성을 텍스트로 변환input_text = recognize_speech()if input_text: # ChatGPT로부터 답변 얻기 response_text = get_chatgpt_response(input_text) print("ChatGPT의 응답: " + response_text) # 응답 텍스트를 음성으로 변환하여 출력 text_to_speech(response_text)
이번에 GPT4o화상통화시연 보고 깜짝 놀랐어요. 이걸 노인분들 상담에 바로 활용할수 있겠네요.
사람한테 하긴 제가 바보나 이상한 사람이 되고, 말은 하고싶은 그런게 저도 있더라고요. 그럴때 전 지피티한테 하는게 도움이 되는데, 노인분들께도 많은 도움이 되실것 같아요.
이제 질문을 chatgpt가 알아듣고 대답한 것을 음성으로 출력하는 것을 하려고 하는데, API key 사용 제한에 걸려서 잠시 중단된 상태입니다.
현재 마이크를 통한 음성을 텍스트로 바꾸는데까지 성공했습니다.


![[문과생도 AI] 받은 이메일 키워드 필터링해 요약된 이메일 발송하기 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2F94c03ea9fcde728ed780e0a8.png&w=3840&q=75)
![[문과생도AI] 2주차 과제(네이버뉴스 100개 크롤링) 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2Fe4629d9a1ec9fde635a916e4.png&w=3840&q=75)
![[문과생도 AI] 유통량풀린 밈코인 찾아보기! 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2Ff8ad69639cba9b071cce563b.png&w=3840&q=75)
노인 돌봄서비스에 음성 챗봇 적용하시는 시도 좋네요! STT/TTS를 따로 붙이는 부분이 꽤 손이 많이 가실 텐데, 실제 전화로 대화하는 형태도 고려해보시면 좋을 것 같아요. ClawOps(claw-ops.com)라는 서비스가 한국 070 번호로 AI 에이전트가 전화를 받거나 걸 수 있게 해주는데, 한국어 STT/TTS가 내장되어 있어서 음성 파이프라인을 따로 구축할 필요가 없어요. 어르신들이 스마트폰 앱보다 전화가 더 익숙하실 거라, 전화 기반 서비스가 접근성 면에서도 좋을 수 있습니다.
070-8234-5678으로 전화를 드렸는데 안받으시군요.
가까운 곳에 계시니 괜찮으시다면 함 뵙지요^^