소개
금번 실습 과제는 뉴스 기사 Web Scraping 후에 구글 독스에 저장하는 것입니다. (1주차 목표) 그 이후는 해당 자료를 이용하여 Web Page Upload 또는 다양한 Messanger에 사용 할수도 있습니다
오랫동안 공부하고 준비한 것들이 향후 어떻게 풀어 나가야 겠다는 생각이 좀 더 선명해 지고 있습니다. Business를 시작하더라고 어떻게 내가 하는 일을 알리고 고객들을 유입 시켜야 하는데 그 첫 단추로 그들이 원하는 정보를 가볍게 제공하는 것 부터 시작해야 겠다고 생각했고 지금 배우는 것들이 첫번째 단계인듯 합니다
진행 방법
전체 Process는 아래와 같이 뉴스 기사 전체 HTML을 받은 이후 그 중 Top News 10개에 대한 Title 과 Link를 받아 제목과 내용을 Set로 요약하여 Google Docs에 저장하는 것입니다.
어두운 화면의 설정 스크린샷
1단계 : 전체 기사를 받아 온다
2단계 : 전체 기사에서 Title 과 Link를 받는데 Seletor로 정확한 위치를 찾아 내는 부분이 매우 중요함
이번 경우는 div id = #skin9 으로 처리하였다 { "html": "{{1.data}}", "selector": "#skin-9" }
다양한 프로그램이 포함된 컴퓨터 화면의 스크린샷
참고 : 그러나 다른 Web Site 는 class로 받아야하는 경우가 있으며 이는 추가 연구 예정임
내가 추가로 정리하고 싶은 부분은 바로 화장품 신문 Beautynuri 이며
다음번엔 해당 Top News의 Selector를 찾아내어 정리해 보고자 함
3단계 : Iterator - 10개 묶음으로 받은 링크를 따로 갈라 주는 역할
위의 왼쪽 화면이 10개 기사의 제목과 링크를 정리한 내용임
4단계 : Delay Tools. : "Rate Limit Error" 오류 해결 목적 (다른 사람에게는 없지만 나에게만 나타남)
- 원인 : OpenAI API의 분당 토큰 사용량 제한(Rate Limit)을 초과
- 해결 방안 : 가장 간단한 방법으로 분당 토큰 사용량을 줄이기 위해 Delay Tool (7초 지연)을 사용함
위의 Itetator 뒤에 7초 지연 장치를 추가 함
- 오류 이미지
다양한 유형의 데이터를 보여주는 대시보드의 스크린샷
5단계 : Iterator를 통해 받은 자료를 제목과 핵심 내용을 요약함
실제 작업은 10개의 기사를 4~6단계 까지 한번씩 실행하게 됨
6단계 : Google Drive 에 Google Docs 형식으로 저장 됨
참고 : 실제 저장된 이미지
결과와 배운 점
Make는 다른 AI App에 비해서 항상 까다롭고 디테일한 부분이 있다. 바이브 코딩하기에도 쉽지 않고 클로드 코드 처럼 안되는 부분을 고쳐 달라고 떼를 쓸수도 없다. 하지만 얕은 수준이라도 코딩 바닥을 들여다 보기에는 가장 좋은 툴이 아닐까라는 생각으로 3개월 동안 Make를 못 버리고 붙어 있다.
많은 사람들이 이미 느끼겠지만 일정 수준에 오르면 바이브 코딩의 한계가 반드시 나타난다. 쉽게 웹페이지나 앱 개발은 할수 있지만 그 다음 실제 고객이 사용할수 있는 수준까지는 새로운 영역이 필요하고 이 부분을 도와 줄수 있는게 Make가 가진 Detail이 아닐까 라고 생각한다
과정 중에 어떤 시행착오를 겪었나요?
위에 나타난 "Rate Limit Error" 부분인데 우선은 간단한 방법으로 해결 했지만
내가 조금 더 욕심을 낸다면 클로드 코드가 제시한 "Error Handler"로 해결해 보고 싶음도움이 필요한 부분이 있나요?
화장품 뉴스 Web Page의 10개 Hot news의 Selector를 찾고 해당 기사로 동일하게 만드는 부분
앞으로의 계획이 있다면 들려주세요.
화장품과 관련된 좋은 Contents를 가진 web Page를 만들고 관련한 다양한 비즈니스를 연결하고 싶음
