📣 23기 AI 스터디 대기자 모집 중!

데이터 수집 / 분석
청
청소반장
·데이터 수집 / 분석에 게시됨

[14기][Notion][Make]GPTers 사례 게시글 DB 자동화 시도_v0.00001

소개(배경)

처음에는 구독하는 유투브 채널 update 영상들을 아침마다 요약해주는 자동화 프로세스를 1차 스터디 때 시도해보려 했습니다.
선배기수분들 사례를 참고하려는데 기수가 많이 쌓여서 그런지 유사한 사례가 많기도 하고,
다 비슷하긴 하지만 조금씩 다르기도 하고, 한눈에 차이점 들을 검색하면서 보면 참 좋겠다는 생각이 들어서
(지피터스의 내부 정책에 반할지 모르겠으나... 스터디차원에서) 무단 크롤링 및 DB화를 한번 시도해보고자 했습니다.
[목표] 1단계: 사례게시글 크롤링 - 태깅/카테고리/요약 (검색 최적화)

진행 방법

  1. Tool

    1. 멘토: ChatGPT, Perplexity, Google Gemini (AI Studio)

    2. 자동화: Make

    3. 데이터베이스: 노션

  2. 목표 서비스 시나리오

    파란색 배경과 흰색 텍스트가 있는 웹사이트의 스크린샷

    1. GPTers 사례게시글의 제목과 작성자, 기수, 카테고리, 내용을 받아오기

    2. 제목/작성자/기수/카테고리는 DB에 바로저장하고, 내용은 GPT로 넘겨서 요약

    3. 요약의 기준은 4가지 (사용한 Tool, 서비스시나리오, 진행시 어려운점, 현재상태/성공여부) - 노션에 데이터테이블 미리 세팅

    4. 이후 Application은 추후 고민 (검색 서비스 - 노션 자체? 웹기반? 키워드 뉴스레터?)

  3. 프로젝트 진행 시, 예상 병목 포인트

    1. GPTers 운영정책 때문에 무단 크롤링이라 운영진 분들께 혼나려나?
      (전 기수 선배들도 비슷한 생각을 했을텐데 사례에 없는 건 이미 처리 당하신건가...?)
      * AI가 알려준 Robot.txt의 내용을 보라고 해서 보니 Allow에 해당하기는 합니다?

      한국어 텍스트가 있는 페이지의 스크린샷

    2. 사례게시글은 '더보기'를 눌러야 추가로 나오니까 그게 어려울 것 같다?

      휴대전화에 있는 한국어 문자 메시지 스크린샷

    3. 내용에 이미지와 구문형 글이 많아서 내용 요약 시 오류가 발생할 것 같다.

  4. 실제 어려운 부분

    1. 로그인: 카카오 로그인이 아닌 계정 로그인을 쓰다보니 아이디/비번 입력이 아니라 메일의 인증코드를 읽어와야 함 (어?????)

      한국어로 된 gptters 앱의 스크린샷

    2. 구글: 하필 계정을 Gmail을 쓰니 권한 때문에 Make에서 연동이 빡심
      (이모카님이 오프 모임 때, 구글은 보안때문에 쉽지 않다고 하셨는데 몸소 체감함)
      * AI 툴마다 다 얘기가 달라서, Make FAQ를 뒤졌습니다. 근데 Make 이전 interomat 시절 URI를 안내하네요?
      (In the Branding section, under Authorized domains, add make.com and integromat.com)
      (In the Authorized redirect URIs section, click + Add URI and enter the redirect URI.

      Here is a redirect URI you need for Gmail and Google Drive.

      https://www.make.com/en/help/connections/connecting-to-google-services-using-a-custom-oauth-client?_gl=1*14tizz1*_gcl_au*MTI5ODc1NTAwNi4xNzM3MTYxNzkz*_ga*MTU4NDE3MTk2Ni4xNzM1NTY4MjM0*_ga_MY0CJTCDSF*MTczNzQ2NzkxNS40LjEuMTczNzQ2ODY5MC41NS4wLjA

    3. 구글2: 연동은 성공했는데, 메일에 권한(Scope) 승인에 제약이 걸려서 인지? 메일에서 본문을 읽기가 안됩니다?

      1. 연동의 기쁨. 3초

        파란색, 노란색, 녹색, 보라색 png

      2. 모듈에 왜 Read/Watch가 없지?

        이메일 작성 방법을 보여주는 Gmail 앱 스크린샷

      3. 권한.. 승인이 더 필요한 걸까요?

        이메일 메시지 설정 스크린샷

  5. 향후 진행계획

    1. 이 프로젝트 더 해도 될지 여쭤보기

    2. 로그인 대체 방안 찾기: 일반 메일의 모듈들을 활용하기, 혹은 Gmail을 다른 메일로 자동 포워딩 후 인증코드 불러오기 시도 예정

결과와 배운 점

  1. 1차 감상

    1. 제목이 v.00001인 이유는 로그인을 못하고 있기 때문입니다ㅠ

    2. 그리고 우리가 이렇게 스터디를 하는 이유입니다.
      (첫 주부터 멋지게 성공한 케이스를 발표하고 싶었던 뉴비의 마음은 저멀리ㅠ)

  2. AI 활용 경험

    1. Project나 Library에 Instruction을 세팅하고 써야, AI와 Iteration을 돌 때 효율이 늘어난다.

    2. 쪼개서 부분부분 물어봐야 한다.

  3. Make 활용 경험

    1. Make는 노가다가 맞다.

    2. 쓰다보면 자유도를 찾아 다른 Tool로 떠나겠구나

  4. Notion 활용 경험

    1. (DB세팅만 했지만) 기획을 미래 해놓고 접근하는 J들이 쓰기 좋은 Tool

    2. 개인노트는 P성향으로 정리하는 경향이 있으니 Obsidian, 프로젝트는 J형태로 접근하니 Notion이 좋겠다는 생각?

    3. DB에서 칼럼 이동/삭제할 때, 하나씩 말고 엑셀처럼 여러 개 전체 선택을 하고 싶다?

도움 받은 글 (옵션)

이모카님의 오프라인 꿀팁 강의 한 방!
(노션 활용 자체는 50% 익숙해진 것 같습니다.)

2
1개의 답글

뉴스레터 무료 구독

신청하기