테크니컬 SEO - 크롤링 요청과 평균 응답 속도

구글 봇과 크롤링 요청

구글 봇은 웹사이트를 크롤링하고, 색인하는 구글의 검색엔진 봇입니다.

구글 봇은 우선, robots.txt에 접근하여 사이트의 크롤링을 어떻게 할지 규칙을 찾습니다.

그런다음, 사이트를 크롤링하여 크롤링이 어떻게 되는지를 설명합니다.

구글 봇이 크롤링하는 경우는 크게 2가지로 나눌 수 있습니다.

더 높은 순위에 자리잡기 위해서는, 색인 이후의 리로딩인 (2)를 개선해야 합니다.


CSR vs SSR

홈페이지가 크롤링 되는 과정을 서술하기 전에 CSR과 SSR에 대해 이야기를 나누어야 합니다.

CSR는 서버가 사용자의 접속을 받으면, javascript가 있다고 알려주는 HTML을 우선적으로 표시를 합니다.

그러면 브라우저에서 Javascript 파일을 불러오고, 이 코드들 에서 json 요청이나 javascript 요청이 호출되는 식입니다.

서버에서 자바스크립트를 호출하기 위해서는 추가적인 ‘랜더링’시간을 거쳐야 해서 SEO에 부정적입니다. 이러면 응답속도가 늦어지니까요.

SSR은 사용자가 콘텐츠의 접속을 받으면, 웹사이트를 알려주는 방식입니다. 속도가 빠르고, SEO에 긍정적입니다.


응답 속도의 기분은 무엇인가?

크롤링 응답 속도는 일반적으로, 맨 처음 서버와 요청 받기를 완료한 시간을 의미 합니다.

그래서, 처음으로 byte가 사용자에게 넘어간 TTFB(Time To First Bytes)가 중요합니다.

그래서 google pagespeed에서 이 숫자를 빠르게 할 필요가 있는 겁니다. 더 빠른 속도를 가지게 되면 크롤링이 잘되고 SEO가 잘되기 때문입니다.


그러면 이를 개선하기 위해서는 어떻게 해야할까요?

  1. 우선 무거운 플러그인을 지우거나, 이후에 가지고 오는 방법이 있습니다.

  2. 또한 이미지, 스크립트, css 등을 이후에 호출하면 됩니다. 그럴려면 CDN을 사용하는 방법이 있습니다.

  3. HTTP 호출량 자체를 줄이는 방법이 있습니다.

이건 거의 개발의 영역이라서 사실 고치기가 매우 힘듭니다. 잘 진행이 되었으면 좋겠습니다.


그래서 결론적으로는 무엇이 개선되어야 하나요?

그래서 개선해야 할 것은, 평균 응답시간을 개선해야합니다. 평균 응답시간이 길어지면 크롤링 요청수가 감소하게 되고, 이는 SEO에 큰 영향을 미칩니다.

구글에서는 평균 응답시간은 100~200ms 사이가 권장됩니다.

근거 : 서버 응답 시간 개선  |  PageSpeed Insights  |  Google for Developers


크롤링 요청 수가 감소하면 검색 노출에 큰 영향을 미칩니다. 200ms를 넘어서게 되면 크롤링 요청이 감소하는 것을 볼 수 있습니다.

실제로 평균 노출시간이 1,000ms가 되자 검색 노출이 90%이상 감소한 사례도 존재합니다.

근거 : There is a sudden drop in crawl request by almost 90% (Our general crawl rate is 2Million/day) - Google Search Central Community

읽어주셔서 감사합니다.

3

(채용) 크리에이터, 마케터, AI 엔지니어

지피터스: 콘텐츠를 AI로 재가공 해 원소스 멀티유즈하는 스타트업

👉 이 게시글도 읽어보세요