[쉽게설명] 크롤러 호스팅 서버 과부하 문제 원인 및 해결방법

광고 게재가 되지 않아 수익이 떨어지고 불안하신분 계신가요? 그 원인이 구글 애드센스 크롤러 호스팅 서버 과부하되었다는 메시지를 보신 적 있죠? 이런 경우에는 원인이 무엇이고 어떻게 해결을 해야 하는지 쉬운 설명을 통해 알려드리도록 하겠습니다.

 

크롤러-호스팅-서버-과부하-문제-원인-및-해결방법

 

 

크롤러란?

크롤러는 쉽게 말해 AI 로봇이라고 생각하시면 됩니다. 크롤러는 전세계 웹사이트를 자동으로 돌아다니면서 사이트 정보를 수집합니다. 그래서 해당 웹페이지의 콘텐츠가 무엇이며, 이 페이지에 적합한 광고는 무엇일지 판단하는 것입니다.

 

전 세계에 수많은 웹사이트가 있을 텐데 이걸 사람이 직접 들어가서 확인을 할 수 없으니 365일 24시간 AI 봇이 자동으로 돌아다니면서 수집을 하는 것입니다. 참고로 구글 크롤러와 구글 애드센스 크롤러는 다릅니다. (다른 AI 봇이라는 뜻입니다.)

 

 

 

호스팅 서버란?

호스트(host)는 "주인"이라는 뜻이 있죠? 호스팅 서버란 주인 서버 라는 뜻이 됩니다. 내 웹사이트, 내 블로그는 내가 주인인데, 그럼 호스팅 서버(주인 서버)는 내가 되는 것인가? 아닙니다. 우리가 블로그에 글을 작성하고 저장을 누르게 되면 우리의 게시글은 호스팅 업체의 서버에 업로드가 됩니다. 우리는 게시글을 만들어서 제공할 뿐이지 서버를 제공하는 것은 아닙니다. 서버는 기업에서 제공하는 것입니다. 그리고 게시된 글을 방문자가 볼 때에도 서버에 저장되어 있는 나의 게시글을 보는 것입니다.

 

아래 그림을 보시면 우리가 블로그에서 A, B, C 라는 게시글을 작성하면 게시글은 호스팅 서버에 저장이 됩니다. 만약 티스토리 블로그라면 티스토리 호스팅 서버에 저장이 되고, 네이버 블로그라면 네이버 호스팅 서버에 저장이 됩니다.

호스팅-서버

 

크롤러 호스팅 서버 과부하 원인

그러면 호스팅 서버 과부하의 원인은 무엇이 있을까요? 일단 호스팅 서버에 어떤 문제가 생긴 것이라고 볼 수 있습니다. 문제 원인은 여러가지가 있겠지만 호스팅 서버가 동시에 수용할 수 있는 요청의 수를 초과한 경우가 있습니다. 예를 들어서 호스팅 서버는 동시 방문자 10만 명이 한계인데, 현재 20만 명이 접속하려고 하는 경우에 서버 과부하가 갈 수 있습니다. 인기 있는 게임이 초반 오픈 시 서버가 터지는 원인과 동일합니다. 

 

그리고 호스팅 서버의 오류나 서비스 중단이 원인이 될 수도 있습니다. 얼마전 카카오 IDC 센터의 화재로 인해 며칠간 카카오 서비스 전체가 먹통인 경우가 있었죠. 이 증상이 원인이 되어 크롤러가 호스팅 서버의 문제라고 판단했을 수도 있습니다.  또한 호스팅 서버의 성능 저하도 원인이 됩니다. 

 

 

 

크롤러는 어떻게 호스팅 서버의 과부하를 판단할까?

크롤러는 호스팅 서버의 과부하를 어떻게 판단할까요? 방법은 간단합니다.

1️⃣ 구글 애드센스 크롤러가 티스토리 호스팅 서버에 in4cube.tistory.com의 몇몇 웹페이지(URL 전달) 접근을 요청합니다.

2️⃣ 티스토리 호스팅 서버는 크롤러가 원하는 웹페이지를 다시 전달(답변)해 줍니다.

3️⃣ 하지만 여기서 티스토리 호스팅 서버가 답변을 해주지 못한다면, 호스팅 서버의 문제가 있다고 크롤러는 판단합니다.

아래 그림을 보시면 조금 더 쉽게 이해가 될 것 같습니다.

크롤러-호스팅-서버-문제-파악하는-방식

 

아마 크롤러 호스팅 서버 과부하 원인은 예를들어 구글 애드센스 크롤러가 20만개의 URL을 Tistory 호스팅 서버에 요청을 습니다. 하지만 Tistory 호스팅 서버는 크롤러에게 5만 개 또는 더 적은 수치로 답변을 던져줬겠죠? 그래서 크롤러는 "호스팅 서버에 뭔가 문제가 있다" 고 판단을 한 것입니다.

 

 

 

크롤러 호스팅 서버 과부하 문제 해결방법

일단 원인은 호스팅 서버에 있으므로 우리가 할 수 있는 것이 없습니다. 서버의 문제입니다. 구글 서치 콘솔의 크롤러와 구글 애드센스의 크롤러는 다릅니다. 구글 애드센스의 크롤러는 1주일에 1번씩 해당 웹사이트를 자동으로 크롤링합니다. 따라서 1주일 정도 기다려서 자동적으로 해결이 되기를 기다리는 수 밖에 없습니다.

 

해당 웹 페이지를 조금 수정해도 됩니다. (마침표를 찍는다던가, 개행을 한다던가의 아주 작은 수정) 또는 HTML을 잘 다루면 불필요한 태그를 삭제하는 것도 하나의 방법입니다. 하지만 추천드리는 방법은 아닙니다.

 

아래 글은 구글 애드센스 고객센터에거 가져온 것입니다.

 

• 애드센스 크롤러는 Google 크롤러와 다릅니다. 두 크롤러는 따로 작동하지만 캐시를 공유합니다. 그래야만 두 크롤러에서 동일한 페이지를 요청하여 게시자의 대역폭이 중복 소비되는 상황을 방지할 수 있기 때문입니다. 이와 마찬가지로 Search Console 크롤러도 따로 작동합니다.

 

구글 크롤러와 애드센스 크롤러는 캐시만 공유합니다. 즉, 웹 페이지에 대한 정보만 공유한다는 것입니다. 구글 서치 콘솔 URL요청을 수동으로 하더라도 구글 애드센스의 문제가 해결되는 것은 아니라는 의미입니다. 즉, 기다리는 것 말고는 해결방법이 없습니다.

 

 

조금 더 자세한 해결방법을 원하시면 아래 링크 클릭해보세요

크롤러 문제 해결