어린이집 교안으로 자동 홈스쿨링 (2단계 컨텐츠 파싱 자동화부터)

소개

시도하고자 했던 것과 그 이유를 알려주세요.

  • 어린이집의 다양한 학습프로그램과 연계해 집에서도 자기학습도우미를 만들고싶었어요.

  • 별도로 새로운 활동을 고민하기보다는 선생님들과 친구들이랑 즐겁게 함께 어린이집에서 한 활동을 연장해 몰입환경을 주고싶었고.

  • 매주 나오는 활동, 영어 교안을 참고하면 부모와 함께 시간을 보내는데 도움될 수 있을 것 같았어요.

그림과 단어가 다른 포스터


원하는 전체 workflow 와 tasks


  1. 알림장 연동 및 필수정보 스크레이핑
    [ ] 알림장 업데이트 모니터링 -> 금요일 교안 링크 추출

  2. 이미지 교안으로 정보 파싱 및 저장
    [ ] 이미지 링크로 부터 교안 분석
    [ ] 확장 컨텐츠를 만들 수 있는 중요내용의 저장 (구글 spreadsheet)

  3. 컨텐츠(자동)화
    [ ] 교안의 중요 내용별로 연관 컨텐츠 검색/ 내용 보강
    [ ] 관련 컨텐츠 생성

  4. 학습과 피드백
    [ ] 홈스쿨링 자료셋으로 학습 -
    [ ] 학습 기록
    [ ] 학습 보강 피드백루프 반복

프로세스 흐름도의 예
전체 흐름과 필요한 작업들

진행 방법

사용한도구: ChatGPT, Claude, n8n, google gemini

범위:

1단계. 알림장 연동은 일반적이지않은 로그인 처리가 필요하고
3단계. 컨텐츠 자동화도 고려할 사항이 많고 컨텐츠를 만들려도 우선 소스가 있어야하니
첫 단계로 교안 이미지를 받아 자동으로 파싱하고 DB(구글 시트)에 저장하는 2단계를 진행해봅니다.

진행 방법:

[Take1]

  1. n8n은 처음 써보는지라 고민하지않고 LLM에 원하는 내용을 주고 workflow를 짜달라고 요청했습니다.

한국 웹 사이트의 스크린 샷
  1. 최신버전 gemini를 활용하지않길래 최신 버전의 n8n 가이드와 API문서를 참고하도록 요청합니다.

    한국 Google 검색 페이지의 스크린 샷
한국 웹 사이트의 스크린 샷
  1. claude가 생성해준 json을 다운로드받아 n8n에 넘깁니다.

    역시나 제대로 동작하지않고 문제가 많습니다. 이제 찬찬히 고쳐가보겠습니다.

    프로세스의 다른 단계를 보여주는 다이어그램

다른 코드를 생성하게 할때는 늘 최신버전 레퍼런스를 활용하도록 가이드해줘야 문제가 적은 듯합니다.

[Take2]


  1. 저 방식으로 만든 json은 제대로 동작하지않아 최신 버전을 구조적으로 반영한다는 Context7 mcp를 Claude desktop에 세팅해 시도해보았습니다.

    Google 검색 페이지의 스크린 샷

프롬프트끝에 context7을 사용하라고 하면, 알아서 최신 라이브러리를 검색해 사용합니다.

  1. 그런데,

    프로세스 단계를 보여주는 흐름도

결과물이 여전히 듬성듬성합니다;;; 작동하게 하기에는 요원하군요.

하지만 어떤 구조로 어떤 노드를 고려해야하는지 잘 알게됐습니다.

[Take 3]

  1. 결국 차근차근 한땀한땀해서 성공.

    1. 이미지는 일단 image url 입력 받기로 -> HTTP Request로 받아오기

    2. 교안의 구조에서 받기 원하는 정보의 컬럼들을 구글시트에 먼저 생성하고, 이 컬럼구조와 이미지를 주면서 LLM에 json구조를 요청 -> Structured Output Parser에 입력

    3. Gemini Chat model이 이미지로부터 텍스트를 분석해서 파서의 구조대로 항목 매칭

      앱의 흐름을 보여주는 다이어그램

Tasks

  1. 알림장 연동 및 필수정보 스크레이핑 (진행중)
    [ ... ] 알림장 업데이트 모니터링 -> 금요일 교안 링크 추출

  2. 이미지 교안으로 정보 파싱 및 저장
    [완료] 이미지 링크로 부터 교안 분석
    [완료] 확장 컨텐츠를 만들 수 있는 중요내용의 저장 (구글 spreadsheet)

  3. 컨텐츠(자동)화 (진행중)
    [ ] 교안의 중요 내용별로 연관 컨텐츠 검색/ 내용 보강
    [...] 관련 컨텐츠 생성
    -> 단어게임?

  4. 학습과 피드백
    [ ] 홈스쿨링 자료셋으로 학습 -
    [ ] 학습 기록
    [ ] 학습 보강 피드백루프 반복


배운점과 남은 질문.

배운점:

  • 결국 n8n워크플로우도 json 코드 형태라서 빠르게 원하는 결과물을 만들어낼 수 있을까 했는데, 아직 그대로 동작하는 워크플로우를 만들어주지는 못했습니다.

  • 기본적으로 n8n에 대한 이해가 없으니 약간의 오류가 있어도 손보기가 쉽지않네요. 시행착오를 거치며 먼저 전반적인 이해가 조금이나마 생겼고 워크플로우를 계속 시도해보고 있습니다.

  • 종종 최신 레퍼런스를 활용하라고 명시적으로 프롬프트 줘야할 때가 있는데 context7 은 꽤 유용합니다. 하다고 합니다.

  • http request 를 잘 쓰면 왠만한 건 되는 듯, 아직 어려움.

질문:

  • LLM에 n8n워크플로우 짜달라고해서 쉽게 짜는 방법 아시는 분?

  • 저런 컨텐츠로 유아교육 어떻게 하면 좋을지 아이디어 넘치시는 분? 기술적인 것은 어떻게든 하겠는데 아이들이 재밌게 뭐를 할 수 있을지 아이디어가 부족하네요. 좀 나눠주세요~ (아이디어 많이 주신 17기 홈스쿨링 스터디원분들 감사합니다.)

느낀점:

  • 주말에 확장 컨텐츠를 만들면서 아이들이 어떤걸 좋아하는지 피드백받으려고,

    • 이미지를 만들면서 뭐가 좋은지 이야기를 나눠보기도 하고

    • 영어동요 영상 같이 보면서 크게 노래부르며 놀이도 했습니다.

  • AI도 좋고 자동으로 하는 것도 좋지만, 아이들은 아빠 엄마와 함께 하는 시간, 자체가 역시 좋나봅니다. ^^

    만화 소녀가 망원경으로 보트에 서 있습니다
    어린이와 동물의 사진 모음




도움 받은 글 (옵션)

참고한 지피터스 글이나 외부 사례를 알려주세요.

https://www.gpters.org/research/post/n8neseo-google-sheets-jadonghwareul-wihan-oauth2-yeondong-gwajeong-a-to-z-hrS4wXZqDkmRvrk

https://yozm.wishket.com/magazine/detail/3223/

3
3개의 답글

👉 이 게시글도 읽어보세요