가보자고
가보자고
🚀 SNS 챌린지 달성자

지피터스 게시판에서 키워드 검색 결과 크롤링 방법

https://www.gpters.org/nocode/post/n8n-start-4-days-gnVxfDkTYUtADdU

이 글을 따라하는 중입니다. 이 글에서 제시한 사이트 대신 지피터스 게시판에서 특정 키워드로 검색한 결과의 링크를 HTTp request에 넣었습니다.

https://www.gpters.org/search?query=%EC%9E%90%EB%8F%99%ED%99%94#gsc.tab=0&gsc.q=%EC%9E%90%EB%8F%99%ED%99%94&gsc.page=1

'자동화'로 검색했을 때, 게시글의 제목과 작성자, 게시 시간을 보려고 합니다.

TXT 요청을 보여주는 웹 브라우저의 스크린 샷

이런 식으로 아주 길지만 검색 결과는 포함되지 않은 내용이 출력되고, 너무 길어서 GPT에 넣으니 에러가 납니다.

지피터스 게시판 구조가 독특한 건가요? Authentication이 필요한 걸까요?

어떻게 해야 원하는 결과를 얻을 수 있을까요?

2
4개의 답글

👀 답변을 기다리고 있어요!

🙌 새로운 멤버들을 맞아주세요!