박카스
박카스
🎻 루키 파트너
🚀 SNS 챌린지 달성자

눈과 귀, 입이 즐거운 영어 홈스쿨링 자동화

소개

2025년 바야흐로 AI 디지털 교과서가 도입된 해에 맞추어,

초3학년~중1 자녀를 두신 학부모님들을 위하여..!

집에서 쉽고 재미있게 학교에서 배운 영어를 복습하며 자기주도학습을 유도하는 AI 코칭 도우미를 기획하게 되었다아..!

진행 방법

사용한 도구는..

(1) GPTs

(2) Make

(3) Telegram

먼저, GPTs는 처음에 학생용으로 뭣도 모른채 만들기 시작했으나..

액션 기능넣는데 오류 고치는데 반나절이 걸리고.. 개인정보보호정책 링크 몰라서 헤매고.. 학생들은 gpts를 사용할수 없다는 경고장도 받으며.. 내공을 쌓아나갔다..쿨럭...

기본적인 지침은 아래와 같다;;

📌 행동 지침 (Behavior)

1️⃣ 질문자의 질문에 친절하고 상세하게 답합니다.
→ 먼저 질문한 영어 표현의 의미와 예를 간단히 설명합니다.

2️⃣ 그 다음, 4컷 만화 형식으로 예를 들어 설명합니다.
→ 컷 1~컷 4 까지 장면 설명과 등장인물 대사를 포함합니다.

3️⃣ 이어서 음성 설명용 친절한 스크립트를 작성합니다.
→ 학생이 들으면서 이해할 수 있도록 쉽고 자연스럽게 작성합니다.
→ 스크립트 작성이 완료되면, 바로 4컷 만화 이미지를 생성합니다.

4️⃣ 4컷 만화 이미지 생성이 완료된후, 4컷 만화에 사용된 예문 전체를 한 문장으로 다시 연결합니다. (이 문장은 나중에 학생이 녹음할 문장입니다.) 이 문장을 쉽게 읽을 수 있도록 TTS용 스크립트(한글발음)도 만들어줘.

5️⃣ 학습기록 저장을 위해, 액션 실행 확인버튼을 눌러줄것을 정중하게 요청합니다. 이후 사용자가 Action을 실행하면
→ 컷별 프롬프트와 음성 설명 데이터를 자동으로 Make Webhook으로 전송합니다.

6️⃣ Webhook으로 보낼 데이터는 다음 필드를 포함합니다:

word	cut1	cut2	cut3	cut4	tts
사용자가 질문한 단어/표현	컷 1 프롬프트	컷 2 프롬프트	컷 3 프롬프트	컷 4 프롬프트	음성 설명

7️⃣ 이 모든 과정은 사용자가 자연스럽게 대화하듯 진행되며, 액션 기능을 실행한다.

친근하고 자연스럽게 대화하며, 학습 기록과 콘텐츠 생성 흐름을 부드럽게 안내하세요.

8. 마지막에 이렇게 말해줘:

---

이제 마지막 단계예요!

1️⃣ 아래 링크를 눌러 텔레그램 봇을 열고 `/start`를 입력해 보세요.  
👉 [📩 텔레그램으로 이동하기](https://t.me/ai_english_coach_bot)

2️⃣ 텔레그램 봇 우측 녹음버튼을 누르고 전송하세요.

메이크와 연동되는 액션 작업은 GPT에게 물어보면서 작업가능하다!

스키마 부분만 잘 복사해서 붙여넣고 마지막 개인정보 보호 정책 링크를 넣어주면 된당.. 링크는 https://openai.com/ko-KR/policies/privacy-policy/ 이걸 넣었당..

지침 수정이나 액션 수정할때도 미리 보기 화면에서 테스트해볼수 있으니 참 좋았당..

한국 채팅 앱의 스크린 샷

이렇게 해서 1단계 GPTs 완성~

https://chatgpt.com/g/g-68138546aa9c8191ae444f54d90ca7e9-hagbumoyong-ai-yeongeo-koci

다음 2단계..! Make..

모바일 앱의 다른 단계를 보여주는 다이어그램

Webhook은 "어떤 일이 일어났어! 처리해줘!" 하고 웹에 자동으로 ‘훅’을 날리는 것" 이다..

JSON(Parse JSON) 제이슨 파싱이라는걸 처음 접했다..!

JSON이 라면 봉지라고 한다면.. 파싱 제이슨은 '라면을 실제로 끓이는 과정'이라고 한다..크..

문자 형태로 온 데이터를 쓸 수 있는 재료들(데이터 객체)로 하나씩 꺼내서 활용할 수 있게 바꾸는 작업이라고 한당..

이 부분도 GPT의 도움을 받으며 완성했다. 오류가 나는 부분은 그대로 캡쳐해서 GPT에게 물어보면 잘 알려준다.

Make 시나리오는 총 3개를 만들었다.

(1) 웹훅을 통해 Make에서 사용자가 질문하고 학습한 내용을 구글 시트에 기록하는 시나리오

(2) 텔레그램에서 사용자의 아이디를 추출하여 구글 시트에 기록하는 시나리오

(3) 텔레그램에서 영어 예문을 녹음하고 발음 평가받는 시나리오

전화 통화의 다른 단계를 보여주는 다이어그램

텔레그램 트리거 시나리오가 2개인데.. 이게 GPT에게 정확한 지시를 내리지않고 작업이 길어지다보면 발생할수도...있다고 생각합니다만.. 흠.. 여러분도 그거 느끼시나요..? 가끔 GPT가 나를 가지고 논다는 사실을 ㅜㅠ

한국 및 중국어 텍스트가있는 페이지의 스크린 샷

빨간색 텍스트가있는 한국어 문자 메시지

텔레그램 API를 받아오면 하나의 시나리오 안의 텔레그램 봇에서 사용하게 되고..

API 발급은 계속 되지만, 하나밖에 사용이 안되는것을 테스트해보면서 알았습니다 크흑.

다음주에 텔레그램 봇 뒤에 라우터 달고 현재 시나리오 2개로 나뉘어있는 부분들을 합칠 예정입니당..

다시 (3)번 MAKE 시나리오를 살펴보자.

이 부분에서 가장 힘들었던 부분이 텔레그램에서 오디오파일을 가지고 와서 구글 클라우드 Speech to Text API와 연동한후, HTTP 모듈의 컨텐츠부분 내용을 에러없이 채우는 부분이었당.

텔레그램 봇에서 오디오파일을 가지고 오기위한 첫단계로 File ID가 필요하다는것도 이해하고 적용하는데 시간이 꽤 걸렸고..

HTTP의 Request content 부분 채우는 것이 시간을 엄청나게 잡아먹었다.

GPT, 제미나이, 클루엘리에게 다 물어보면서 수정을 반복했다..

여기서 내가 배운점은.. 텔레그램 오디오 파일 Encoding은 "OGG_OPUS"라고 부른다는점.

SampleRateHertz를 48000으로 맞추어야한다는점.
언어코드는 영어일경우, "en-US"라는 점이다.

또한,

"audio": {"content": "{{base64(4.fileOutput)}}" 이것을 완성할때는 거의 기절초풍이어따ㅜㅠ

결국 해냈다..ㅎㅎㅎ

모르는 단어,문법,원어민식 표현을 GPTs에 물어보면 GPTs는 4컷 만화예문을 생성해주며 Make를 통해 학습기록을 남긴다. 이후 만화예문을 텔레그램 녹음으로 Make에 전송한다. 발음평가 보고서가 텔레그램으로 보내진다:)

앞으로의 계획은..

일단 잠좀 자고 생각해보겠다..!

3
6개의 답글

뉴스레터 무료 구독

👉 이 게시글도 읽어보세요