GPT 스터디를 통해 다음과 같은 작업을 진행하고 싶었고 하나씩 풀어보고자 합니다.
첫날 자기소개 때 다음과 같은 일들을 하나하나씩 해보고자 마음 먹었고,
그 첫 번째로 “투자 정보판을 만들어서 Daily로 제공해 주는 것”을 실현해보고자 했습니다. 😶🌫️
하다 보니 [차별화 전략을 위한 경쟁사 리서치]의 첫발을 내딛을 수 있었습니다.
이 글을 보면 좋은 사람들
일주일에 한번, 또는 주기적으로 경쟁사 동향 or 신제품의 동향을 파악하고 싶다.
매주 캘린더에 넣거나 의식적으로 찾아보는 게 필요하다.
→ 다 필요 없고 자동으로 해줬으면 좋겠다. (또는 다른 사람에게 요청하고 있다..!)
바쁘신 분들을 위해 결과부터 보자면,
Browse Ai로 Product Hunt라는 사이트에서 Finance 카테고리에 있는 신규 프로덕트를 매주 1회, 월요일 오전 8시 구글시트에 업데이트 할 수 있도록 했습니다.
(기존 동일한 데이터는 변한 것만 업데이트, 새롭게 생긴 것은 추가되게 끔!)
🤠참고한 사이트 및 서비스 목록
공부한 자료
WEB Scraping - The Best Web Scraping Tool
관련 서비스 & 사이트
(No code 크롤링) Browse ai
(신규 제품) Product Hunt
이제부턴 어떠한 과정을 겪었는지 설명드리겠습니다.
상세 프로젝트 내용은 단지 저의 필요에 의해 시작되었습니다.
투자 정보판을 만들기 위해서는 다음과 같은 장애 요소가 존재했습니다.
1. 데이터를 모아야 한다 (크롤링 기술)
→ 자동화 + 효율 UP
2. 모아진 데이터를 자동으로 분류하여 저장해야 한다.
3. (양성규)는 크롤링은 전혀 모르고, 파이썬은 아주 조금 안다..
그래서, 프로젝트를 성공시키기 위해선 ‘크롤링, 자동화, 정리’
이것을 혼자 해낼 수 있는 지에 대한 검증이 필요했습니다.
그렇기에 주변에 흩어진 문제 중 해당 문제를 실험해 볼 수 있는 업무를 생각했고,
그것이 [차별화 전략을 위한 경쟁사 리서치] 였습니다.
프로 젝트명: “차별화 전략을 위한 경쟁사 프로덕트 동향 조사”
요구 사항: 1주일에 1번, 매주 월요일에 자동으로 최신화 되는 프로덕트를 보고 싶다.
확인 사항: 크롤링 기술을 몰라도 내가 할 수 있게 한다.
무엇보다 가장 쉽고 빠르게 할 수 있는 방법이 무엇일까 고민했습니다.
그렇기에 쉬운 게 필요했죠, 아주 간단한 것이요!
🧐1차 시도. 크롤링은 파이썬이 코드로 해야 할 것 같아, 파이썬을 돌려서 해볼 수 있는 게 있지 않을까?
Chat GPT로 코드를 작성했고, 이를 구글에서 제공하는 Colab을 활용하여 실행했습니다.
결과: 네이버 뉴스 10개를 긁어오는데 성공!
한계: 데이터 자동화까지는 너무 오래 걸릴 것 같음..
코드를 모르면 할 수 있을까?
▼ 1차 과정
Chat GPT에게 물어봤습니다. 난 5학년이야, 크롤링 코드좀 짜줘.
https://chat.openai.com/share/e0968d8c-ae37-4300-9483-e63ccb5f904a
구글 Colab에 해당 파이썬 코드 실행 (별도의 파일 설치 없이 파이썬을 실행시킬 수 있는 도구)
Google Colaboratory
😘2차 시도. 크롤링 쉽게 해주는 곳 찾자. Zapier 등과 쉽게 연동되는 걸 찾자.
Browse AI를 통해 Product Hunt 사이트 크롤링
데이터 는 프로덕트 평가를 위한 지표 중심
어떠한 프로덕트인지, 사이트 주소는 무엇인지 등에 중점을 맞춰서 크롤링
1주일에 1번 정해진 시간에 자동으로 크롤링
Zapier 연동을 통한 데이터 → Google Sheet로 전달
매주 1번씩 업데이트 된 프로덕트 동향을 체크하기!
우선 해당 프로젝트를 통해 발견한 사실은
크롤링 두려워 하지 않아도 된다. → 돈은 프로덕트에 따라 달라질 수 있음
프로덕트 동향에 대한 것들이 전체 공유되면서 프로덕트 기획 시 참고할만한 Insight를 매주 제공받을 수 있다.
추후에 더 발전 된 모델로도 활용할 수 있겠다!
그 첫 번째로 “투자 정보판을 만들어서 Daily로 제공해 주는 것”을 실현해보고자 했습니다. 😶🌫️
이게 가능할 것 같았다.
감사합니다!