안녕하세요! 문과생도AI 10기 킵고잉입니다!
저는 [쿠팡 크롤링 프로그램 개발]을 목표로 프로젝트를 진행하고 있습니다.
#문과생도AI 10기
[문과생도AI] 문과생도 필요한 프로그램을 개발할 수 있다.. 이말이지? | 지피터스 GPTers
지난 시간까지, 쿠팡 상품평에 접속해서 전체 상품평을 크롤링하는 것까지는 성공했는데요.
이제 마지막 마무리로,
원하는 별점으로 선택해서 추출하기.
EXE파일 만들기
이 두 가지 작업을 추가해서 그럴싸한 프로그래밍의 경험을 마무리 해보려고 합니다!
1. 원하는 별점으로 선택해서 추출하기.
지난 시간까지의 경험을 통해, CSS선택자를 잘찾고, 동적으로 변화하는 웹페이지를 잘 Catch-Up하는게 웹크롤링에서 꽤 중요하다! 라는 사실을 깨달았습니다.
먼저 원하는 별점을 어떻게 선택할 것인가?
이 부분은 크게 2가지 방법이 있을텐데요.
1) 우선 전부 크롤링 한 뒤 크롤링해온 리스트 중에서 별점 별로 나누기.
2) 애초에 필요한 별점만 크롤링하기
1)번 방식은 코드짜기가 좀 편할 것 같았지만, 지금 현재 코드의 크롤링하는 속도가 느린 점을 감안해서 2)번 방식으로 방향을 정했습니다.
그리고 2번 방식을 적용하기 위해서는 CSS선택자를 매우 잘 찾아야만 했습니다.
이번에는 버튼이 따로 존재하지 않고, 특정 부분을 그냥 클릭해야 해서 지난번 상품평으로 접속하는 것에 비해서 약간더 난이도가 있었습니다.
GPT로 코 딩을 하다보니 알게된 꿀팁중 하나는 오류를 무작정 해결해 달라고 하는것보다. 아래처럼 구체적으로 어떤 코드에서 오류가 난건지 확인해 달라고 하면 구글링할 때 편하다는 점입니다.
몇 번의 시도 끝에 원하는 CSS선택자를 찾았고 코딩에 성공했습니다.
그리고 이 과정에서 GPT의 오류와, 답답함을 견디지 못하고 클로드3를 결제하고 말았습니다...
이렇게 요청하니 클로드는 오류없이 한번에 코드를 짜줬습니다!
2. EXE파일 만들기
전체적인 크롤링 기능은 다 구현을 했으니 이제 다른 PC환경에서도 구동할 수 있도록, EXE프로그램으로 추출해보겠습니다.
제가 느낀 클로드3opus의 장점은 제 요청을 더 잘 이해하고, 설명을 더 친절하게 잘해준다는 점이었습니다. 왜 이런코드를 넣었는지, 해당 코드는 전체 맥락에서 어떤 기능을 하게되는지 이런 설명이 이해하기 쉽게 제공되어 코드를 이해하는데 큰 도움이 되었습니다.
오류도 더 적었어요.
코딩하실분은 그냥 클로드3 쓰세요...
그렇게 다른 PC를 포함한 몇 번의 테스트 결과 정상적으로 잘 작동하는
크롤링 프로그램이 완성 되었습니다!!!!!!
물론 아직 구동속도가 많이 느려서 상용화하기에는 부족하지만, 속도개선, UI개선을 한다면 충분히 상용화도 가능 할 것 같다는 희망을 갖고 있습니다.
일단 이렇게 10기 문과생도 AI 캠프의 프로젝트 시리즈를 마무리 하게되었습니다.
제가 5주 동안 강의와 프로젝트를 병행하면서 느낀 점은
1) Chat GPT, Cloude3 와 같은 생성AI기술의 발전으로 일반인들도 쉽게 프로그래밍에 접근할 수 있게 되었다는점을 제가 몸소 증명했다는 것에 뿌듯했고요.
2) 예전에는 복잡하고 어려운 개발언어와 문법을 오랜시간 어렵게 배워서 익혀야 했다면 지금은 아주 기초적인 공부만 가지고도 프로그램을 시작해 볼 수 있는 세상이다.
3) 전체적인 개발과정, 개발언어간의 관계등 큰 그림을 위주로 공부하고, 상품 기획력이 뒷받침 된다면 누구나 개발을 시작할수 있다.
4) 물론! 결국 퀄리티 있는 개발을 하기위해서는 당연히 코딩을 더 깊이 공부해야 합니다. GPT와 클로드는 그 학습의 허들을 아주 많이 낮춰주는 역할과 어떤 것을 추가로 공부해야 하는지 방향성을 알게해주는 역할이 큰 것 같습니다.
두서 없는 느낀 점을 끝으로 저는 이만 물러가 보도록 하겠습니다.
감사합니다.