소개
1. 시도하고자 했던 것과 그 이유
처음에는 MAKE를 활용하여 나무위키와 같은 웹사이트에서 OTT 콘텐츠(드라마, 영화 등)의 텍스트 정보를 스크래핑하고, 유튜브 등에서 추출한 자막/대사 정보와 결합하여 깊이 있는 블로그 리뷰 포스트를 자동으로 생성하는 것을 목표로 했습니다. 콘텐츠 소비 후 리뷰 작성에 드는 시간을 줄이고, 다양한 정보를 취합하여 풍성한 글감을 얻고자 하는 아이디어였습니다.
하지만 웹 스크래핑 단계에서 기술적인 어려움에 직면(저는 이 스터디를 통해 MAKE를 처음 써보는 초보자입니다..)하여, 스터디 장님이 제공해주신 MAKE 모듈을 활용하는 방향으로 선회했습니다.
최종적으로는 TED 및 HBR 강의의 자막을 가져와 이를 블로그 글감으로 가공하는 자동화 프로세스를 구축하는 것으로 목표를 수정하여 스터디를 진행했습니다. 이는 우선 MAKE의 기본적인 모듈 작동 방식과 데이터 흐름을 이해하고, 성공적인 자동화 경험을 쌓는 데 집중하기 위함이었습니다.
(위에는 실패의 흔적들이고 아래.. 5개만 제대로된 결과값입니다..)
2. 진행 방법
1) 어떤 도구를 사용했고, 어떻게 활용하셨나요?
주요 도구: MAKE (자동화 플랫폼), Airtable
2) 활용 방법:
스터디장님이 공유해주신 모듈을 바탕으로 TED/HBR 강의 자막 추출 및 처리 관련 MAKE 시나리오(모듈 구성)를 제 MAKE 계정으로 가져와 그대로 구현했습니다. 이 모듈은 특정 강의 URL을 입력하면 해당 강의의 자막을 가져오는 기능을 포함하고 있었습니다.
자막 텍스트를 성공적으로 가져온 후, 이를 블로그 글감으로 적합하게 만들기 위해 데이터 처리 단계에서 사용되는 프롬프트를 수정했습니다. 프롬프트 입력은 [프롬프트 만들기 - 추론버전 v1] 을 사용하였습니다.
3. 결과와 배운 점
1) 결과
스터디장님이 제공한 MAKE 모듈을 성공적으로 복제하여 TED 및 HBR 강의 자막을 자동으로 가져오는 데 성공했습니다.
추출된 자막 텍스트를 기반으로, 프롬프트 수정을 통해 블로그 포스팅에 활용할 수 있는 형태로 글감을 가공하는 데 성공했습니다. (근데 제가 가져온 링크를 제대로 요약한건지는 모르겠네요ㅋㅋ)
2) 배운 점
잘 만들어진 모듈이나 템플릿을 활용하면 복잡해 보이는 자동화 작업도 비교적 쉽게 시작하고 성공 경험을 쌓을 수 있다는 것을 알게 되었습니다.
AI 모듈과 연동 시, 프롬프트의 내용과 구조가 결과물의 품질과 활용도를 결정짓는 매우 중요한 요소임을 깨달았습니다. 명확하고 구체적인 지시가 원하는 결과물을 얻는 지름길이었습니다.
텍스트 기반 웹페이지(나무위키 등)에서 정보를 가져오는 것은 단순히 URL을 넣는 것만으로는 부족하며, 해당 페이지의 HTML 구조에 대한 이해와 적절한 파싱 도구(예: MAKE의 HTML 모듈, Text Parser) 활용 능력이 필수적이라는 것을 절감했습니다.
4. 과정 중에 어떤 시행착오를 겪었나요?
1) 스크래핑 실패: HTML 모듈과 Text Parser 모듈을 활용하여 나무위키의 특정 페이지 텍스트를 가져오려 했으나, 어떤 데이터를 어떻게 추출하도록 설정해야 하는지 감을 잡지 못했습니다. ChatGPT나 Claude와 같은 AI 도구에 질문하며 해결책을 찾아보려 했지만, 제공된 정보만으로는 실제 모듈 설정에 적용하기에는 제 역량이 부족했습니다.
2) (Router) 모듈 활용 실패: 스크래핑 시나리오와 자막 추출 시나리오 등 두 가지 다른 흐름을 조건에 따라 분기하거나 결과를 합치기 위해 라우터 모듈을 사용해보려 했으나, 데이터 흐름을 제어하고 각 경로를 설정하는 데 어려움을 겪어 결국 포기했습니다.
5. 도움이 필요한 부분이 있나요?
1) 웹 스크래핑 심화 학습: MAKE의 HTML 모듈이나 HTTP 요청 모듈, Text Parser 등을 활용하여 다양한 구조의 웹페이지에서 원하는 텍스트 정보를 정확하게 추출하는 방법에 대한 구체적인 가이드나 실습 예제가 필요합니다. 특히 동적으로 내용이 변경되는 페이지에 대한 접근법이 궁금합니다.
2) 라우터 및 흐름 제어 모듈 활용법: 복수의 시나리오를 효과적으로 분기하고, 데이터를 안전하게 전달하며, 오류를 처리하는 등 MAKE의 흐름 제어 관련 모듈들의 실제적인 활 용 사례와 베스트 프랙티스에 대해 배우고 싶습니다.
