본문으로 건너뛰기
궁금해요

지피터스 게시판에서 키워드 검색 결과 크롤링 방법

가보자고

2025.03.05

지피터스 게시판에서 키워드 검색 결과 크롤링 방법 본문 이미지

https://www.gpters.org/nocode/post/n8n-start-4-days-gnVxfDkTYUtADdU

이 글을 따라하는 중입니다. 이 글에서 제시한 사이트 대신 지피터스 게시판에서 특정 키워드로 검색한 결과의 링크를 HTTp request에 넣었습니다.

https://www.gpters.org/search?query=%EC%9E%90%EB%8F%99%ED%99%94#gsc.tab=0&gsc.q=%EC%9E%90%EB%8F%99%ED%99%94&gsc.page=1

'자동화'로 검색했을 때, 게시글의 제목과 작성자, 게시 시간을 보려고 합니다.

이런 식으로 아주 길지만 검색 결과는 포함되지 않은 내용이 출력되고, 너무 길어서 GPT에 넣으니 에러가 납니다.

지피터스 게시판 구조가 독특한 건가요? Authentication이 필요한 걸까요?

어떻게 해야 원하는 결과를 얻을 수 있을까요?

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

푸르공 프로필 이미지
푸르공2025.03.07

지피터스 사이트는 bettermode 기반으로 알고 있습니다!

그렇다면...?? 굳이 어렵게 착한 http와 싸우지 마시고...

간단하게 API를 이용하면 쉽게 검색을 하실 수 있겠죠? 😅

그러면 이런것도 가능합니다. 지피터스 Make 커스텀앱!

푸르공 프로필 이미지
푸르공2025.03.07

샘호트만 밀키트는 아주 맛있죠! ㅎ

개발자F 프로필 이미지
개발자F2025.03.05

지피터스 사이트는 "동적 웹사이트"입니다. http로는 해결이 어려워요.
사용자의 입력에 맞춰 변화하는 요즘 사이트들은 동적 웹사이트인 경우가 많습니다.
파이썬으로 동적 웹사이트 크롤링 코드를 작성하여 별도로 크롤링을 하셔서 n8n에 연결하여 사용하시거나, 크롤링 서비스의 api를 사용하셔서 해결하셔야합니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기