[구글서치콘솔] 웹 페이지 색인 생성이 누락되는 원인과 해결방법

구글서치콘솔에서 URL이 Google에 등록되어 있지 않은 문구를 보신 적 있죠? 색인이 생성되어 있지 않은 이유, 색인이 누락된 이유는 무엇일까요? 오늘은 그 원인을 파악해 보고 어떻게 해결하는지 알아보도록 하겠습니다.

 

 

구글서치콘솔-웹페이지-색인-생성-누락-이유-및-해결방법

 

 

 

URL이 Google에 등록되어 있지 않음

이 문구의 의미는 말 그대로 해당 페이지가 구글사이트에 등록이 되어 있지 않다는 의미입니다. 구글은 크롤링이라는 행위를 통해서 전세계 웹페이지를 돌아다니며 사이트의 정보를 수집하고 웹 페이지를 확인합니다. 엄청나게 많은 웹 페이지를 어떻게 돌아다니면서 페이지 정보를 수집할까요? 바로 크롤러라는 봇(bot)이 전 세계 웹페이지를 서핑하면서 정보를 수집합니다.

 

 

구글서치콘솔-현재-색인이-생성-되어있지-않음

구글서치콘솔-현재-색인이-생성-되어있지-않음

 

 

웹 페이지 정보를 수집못하는 이유

구글 크롤러가 웹 페이지 정보를 수집하지 못하는 이유는 몇 가지 있습니다. 첫 번째로 웹 사이트가 신규로 생성된 경우 크롤러는 웹사이트 방문을 하지 않습니다. 크롤러도 구글 검색엔진의 성능을 위해서, 사용자의 편의성을 위해서 효율적으로 웹 사이트를 방문합니다.

 

예를 들어보겠습니다. 웹 페이지가 1000개 있는 사이트와 일주일 전에 웹 사이트를 개설하여 웹 페이지가 10개인 사이트가 있다고 가정해 봅시다. 구글 크롤러는 유저가 구글에서 검색했을 때 원하는 결과를 보여주기 위해 웹사이트를 수집해야 합니다. 크롤러 입장에서는 웹 페이지가 1000개 있는 사이트가 당연히 사용자가 구글에서 어떤 키워드로 검색했을 때 원하는 결과를 도출할 수 있는 페이지가 더 많다고 판단을 할 것입니다. 그래서 크롤러는 사이트 내에 웹 페이지가 많은 것을 먼저 방문합니다. 그리고 시간이 남는다면 이제 막 생성된 사이트들을 방문하죠. 그래서 사이트 내에 웹 페이지 생성을 하루에 1개 이상 해주는 것이 좋습니다. 블로그의 경우 1일 1 포스팅 이상 하는 것이 크롤러 방문률을 높입니다.

 

두 번째 네트워크 적인 문제입니다. 이 문제를 좀 더 자세하게 보려면 아래 링크를 클릭해 주세요

크롤러 네트워크 오류

 

 

세 번째 이유는 신규 글 발행이 없거나 생성 주가기 뜸한 경우입니다. 크롤러는 우선순위에 따라서 웹 사이트를 방문하게 되는데 신규 글 발행이 활발한 사이트를 먼저 방문합니다. 예를 들어서 A라는 단어가 이번 연도에 처음 생성된 신조어라고 가정해 보겠습니다. 구글 검색엔진 입장에서 유저가 A라는 단어를 검색했을 때 원하는 결과를 보여줘야겠죠? 그러면 구를 크롤러는 당연히 웹 페이지 생성이 활발하거나 포스팅을 자주 하는 웹페이지를 방문하여 정보를 수집합니다. 1개월에 1번씩 글을 발생하는 사이트를 크롤러가 방문하지는 않겠죠. 왜냐하면 이런 사이트에는 새로운 정보가 없을 가능성이 높기 때문이죠.

 

이 외에도 여러 가지 이유가 더 있겠지만 제가 알고 있는 이유는 3가지 정도입니다. 이런 문제를 해결하기 위해서 가장 좋은 방법은 3가지 문제를 한 번에 해결하면 되지만 구글서치콘솔에서 직접 수동으로 크롤러가 내 사이트를 방문하도록 설정하면 됩니다. (아래 링크 클릭하여 크롤러 수동방문 하는 방법 확인하기 ↓)

크롤러 강제 방문유도 방법

 

 

이렇게 하면 URL 존재여부를 재확인하고 색인 생성 요청을 하면 며칠 뒤에 크롤러가 다시 해당 웹 페이지 방문을 하게 됩니다. 하지만 이렇게 강제로 요청 해서 크롤러가 방문했지만 무슨 이유에서 인지 색인이 생성되지 않는 경우가 있습니다. 그 원인을 한번 알아보도록 하겠습니다.

 

 

구글서치콘솔-색인-생성-방법

구글서치콘솔-색인-생성-방법

 

 

 

 

색인이 생성되어 있지 않음 원인

자 그러면 위에서 크롤러가 방문까지 했는데, 왜 색인 생성을 하지 않은 것일까요? 그리고 색인이 생성되었던 것이 누락이 되는 경우도 발생할까요?  색인이 생성되지 않으면 웹 페이지가 구글에 등록되었지만 검색했을 때 앞페이지에 노출되지 않습니다. 그래서 색인생성이 중요합니다.

 

구글 크롤러가 웹 페이지에 방문하면 Google에서 페이지 색인을 생성합니다. 그리고 Google 크롤러에서 페이지에 있는 콘텐츠와 정보를 분석하여 구글 색인에 저장합니다. 하지만 다음과 같은 이유로 인해서 색인이 생성되지 않을 수 있습니다.

 

1️⃣ 숨겨진 텍스트 및 링크

2️⃣ 유인 키워드 반복

3️⃣ 링크 스팸

4️⃣ 혼동을 야기하는 기능

5️⃣ 스크랩한 콘텐츠

 

 

숨겨진 텍스트 및 링크

크롤러는 이런 웹페이지에 이런 행위가 있는지 확인하고, 있으면 색인을 하지 않습니다. 만약 흰색 배경에 흰색 텍스트를 작성한다면 글씨가 보이지 않겠죠? 이 경우 색인이 되지 않습니다. 또한 이미지 뒤에 텍스트를 숨기거나, CSS를 조작하여 텍스트를 화면에 보이지 않도록 하거나, 글꼴 크기 또는 불투명도를 0으로 설정하거나 링크가 걸린 텍스트가 하이폰 등 작은 문자에 걸려있는 경우 색인을 하지 않습니다.

 

혹시 이렇게 설정된 페이지가 있으면 수정을 진행하고 구글서치콘솔에서 URL 검색 및 색인요청을 다시 진행하시면 됩니다.

 

 

유인 키워드 반복

이건 말 그대로 키워드를 무분별하게 반복해서 사용하는 경우입니다. 주로 구글 검색 순위를 조작하기 위해서 사용하는 방법 중 하나인데, 이렇게 악용할 경우 색인이 생성되지 않을 수 있습니다. 의미 없는 전화번호 목록을 쭉 작성하거나 특정 텍스트를 반복해서 사용하는 행위는 좋지 않습니다.

 

 

링크 스팸

해당 웹 페이지로 들어오는 링크를 무분별하게 만들거나, 해당 웹 페이지에서 외부로 나가는 링크를 무분별하게 생성하는 경우 색인 생성이 되지 않을 수 있습니다. 또한 링크를 제품이나 서비스와 교환하는 정황, 링크를 생성해 주는 서비스를 구매하거나 이용하면 색인 제외가 될 수 있습니다. 그리고 품질이 낮은 사이트에 내 웹페이지 링크가 걸리는 것도 색인 생성에 영향을 미칠 수 있습니다. 이는 구글이 링크 생성 작업을 하는 것으로 간주해서 그런 것 같습니다. 

 

 

혼동을 야기할 수 있는 이야기

이 것은 바로 사용자들에게 마치 무엇을 할 수 있을 것처럼 이야기 해 놓고, 막상 웹사이트를 돌아보면 아무것도 할 수 없는 것과 같습니다. 예를 들어 어떤 요리 레시피를 알려주겠다는 블로그 글이 있지만 막상 블로그 글에는 요리 레시피에 관한 내용이 전혀 없는 경우입니다. 즉 사용자들을 속이고 의도적으로 사용자를 끌어들이기 위한 웹사이트가 해당됩니다.

 

 

스크랩한 콘텐츠

다른 사이트에서 가져온 글을 그대로 사용하거나, 다른 사이트의 콘텐츠를 약간만 수정하여 사용하는 경우, 다른 사이트의 사진이나 영상을 그대로 가져오고, 영상이나 사진만 게시한 경우 등에 이 항목에 해당합니다. 이런 경우 역시 구글에서 색인생성을 하지 않을 수 있습니다.

 

 

5개의 사유 외에도 여러 가지 사유가 많지만 5개의 사유가 가장 큰 이유입니다. 이런 경우는 게시글을 수정하거나, 위 사유를 회피하는 게시글을 신규로 발행하는 것이 좋습니다. 간혹 게시글이 구글에 노출되지만 구글서치콘솔에는 색인생성이 되어 있지 않다고 뜨는 경우가 있습니다. 이런 게시글을 크게 수정하지 않는 것이 좋습니다. 잘못 수정하다가 키워드를 건드려서 순위에서 완전히 멀어질 수도 있습니다. 제가 직접 경험을 해봤습니다.

 

게시글이 노출되지 않는다면 게시글 수정하는 것을 추천드립니다. 게시글이 노출되고 있는 상황인데 구글서치콘솔에 색인생성이 되어 있지 않다고 뜨면 게시글 수정하기 말고 신규 발생하는 것을 추천드립니다.

 

구글에게 바라는 점은 어떤 상황에 대한 원인도 명확하게 알려줬으면 좋겠습니다. 구글서치콘솔 기능이 차츰 나아지길 기대하면서 오늘 글 마치겠습니다.