안녕하세요! 문과생도AI 10기 킵고잉입니다!
저는 [쿠팡 크롤링 프로그램 개발]을 목표로 프로젝트를 진행하고 있습니다.
#문과생도AI 10기
[문과생도AI] 문과생도 필요한 프로그램을 개발할 수 있다.. 이말이지? | 지피터스 GPTers
지난 시간까지, 쿠팡 상품평에 접속해서 전체 상품평을 크롤링하는 것까지는 성공했는데요.
이제 마지막 마무리로,
원하는 별점으로 선택해서 추출하기.
EXE파일 만들기
이 두 가지 작업을 추가해서 그럴싸한 프로그래밍의 경험을 마무리 해보려고 합니다!
1. 원하는 별점으로 선택해서 추출하기.
지난 시간까지의 경험을 통해, CSS선택자를 잘찾고, 동적으로 변화하는 웹페이지를 잘 Catch-Up하는게 웹크롤링에서 꽤 중요하다! 라는 사실을 깨달았습니다.
먼저 원하는 별점을 어떻게 선택할 것인가?
이 부분은 크게 2가지 방법이 있을텐데요.
1) 우선 전부 크롤링 한 뒤 크롤링해온 리스트 중에서 별점 별로 나누기.
2) 애초에 필요한 별점만 크롤링하기
1)번 방식은 코드짜기가 좀 편할 것 같았지만, 지금 현재 코드의 크롤링하는 속도가 느린 점을 감안해서 2)번 방식으로 방향을 정했습니다.
그리고 2번 방식을 적용하기 위해서는 CSS선택자를 매우 잘 찾아야만 했습니다.
이번에는 버튼이 따로 존재하지 않고, 특정 부분을 그냥 클릭해야 해서 지난번 상품평으로 접속하는 것에 비해서 약간더 난이도가 있었습니다.
GPT로 코딩을 하다보니 알게된 꿀팁중 하나는 오류를 무작정 해결해 달라고 하는것보다. 아래처럼 구체적으로 어떤 코드에서 오류가 난건지 확인해 달라고 하면 구글링할 때 편하다는 점입니다.
몇 번의 시도 끝에 원하는 CSS선택자를 찾았고 코딩에 성공했습니다.
그리고 이 과정에서 GPT의 오류와, 답답함을 견디지 못하고 클로드3를 결제하고 말았습니다...
이렇게 요청하니 클로드는 오류없이 한번에 코드를 짜줬습니다!
2. EXE파일 만들기
전체적인 크롤링 기능은 다 구현을 했으니 이제 다른 PC환경에서도 구동할 수 있도록, EXE프로그램으로 추출해보겠습니다.
제가 느낀 클로드3opus의 장점은 제 요청을 더 잘 이해하고, 설명을 더 친절하게 잘해준다는 점이었습니다. 왜 이런코드를 넣었는지, 해당 코드는 전체 맥락에서 어떤 기능을 하게되는지 이런 설명이 이해하기 쉽게 제공되어 코드를 이해하는데 큰 도움이 되었습니다.
오류도 더 적었어요.
코딩하실분은 그냥 클로드3 쓰세요...
그렇게 다른 PC를 포함한 몇 번의 테스트 결과 정상적으로 잘 작동하는
크롤링 프로그램이 완성 되었습니다!!!!!!
물론 아직 구동속도가 많이 느려서 상용화하기에는 부족하지만, 속도개선, UI개선을 한다면 충분히 상용화도 가능 할 것 같다는 희망을 갖고 있습니다.
일단 이렇게 10기 문과생도 AI 캠프의 프로젝트 시리즈를 마무리 하게되었습니다.
제가 5주 동안 강의와 프로젝트를 병행하면서 느낀 점은
1) Chat GPT, Cloude3 와 같은 생성AI기술의 발전으로 일반인들도 쉽게 프로그래밍에 접근할 수 있게 되었다는점을 제가 몸소 증명했다는 것에 뿌듯했고요.
2) 예전에는 복잡하고 어려운 개발언어와 문법을 오랜시간 어렵게 배워서 익혀야 했다면 지금은 아주 기초적인 공부만 가지고도 프로그램을 시작해 볼 수 있는 세상이다.
3) 전체적인 개발과정, 개발언어간의 관계등 큰 그림을 위주로 공부하고, 상품 기획력이 뒷받침 된다면 누구나 개발을 시작할수 있다.
4) 물론! 결국 퀄리티 있는 개발을 하기위해서는 당연히 코딩을 더 깊이 공부해야 합니다. GPT와 클로드는 그 학습의 허들을 아주 많이 낮춰주는 역할과 어떤 것을 추가로 공부해야 하는지 방향성을 알게해주는 역할이 큰 것 같습니다.
두서 없는 느낀 점을 끝으로 저는 이만 물러가 보도록 하겠습니다.
감사합니다.