검색에 안 나오면 순위보다 색인부터 보십시오

검색에 사이트가 안 보이면 순위부터 의심하게 됩니다. 그런데 색인이 안 된 페이지는 순위 경쟁에 끼지도 못합니다. 색인을 막는 흔한 원인 다섯 가지와 직접 확인하는 법을 정리했습니다.

사이트를 여셨습니다. 구글에 회사 이름을 쳐도 나오지 않습니다.

이럴 때는 순위를 올릴 방법보다 구글이 그 페이지를 목록에 넣었는지부터 보셔야 합니다.

순위 이전에 색인부터 봅니다

검색 결과에 사이트가 안 보이면 순위부터 의심하시게 됩니다. 그런데 순위는 색인된 페이지들 사이에서 매기는 계산입니다. 색인이 안 된 페이지는 애초에 그 경쟁에 끼지도 못합니다.

색인은 구글이 페이지를 찾아서 검색 결과 후보 목록에 넣는 과정입니다. 순위는 그 목록 안에서 어떤 페이지를 먼저 보여줄지 정하는 별개의 계산입니다. 두 단계를 하나로 여기면 엉뚱한 곳을 고치게 됩니다.

순위 탓으로 돌리시기 전에 색인 여부부터 확인하는 순서가 맞습니다. 아래 다섯 가지가 색인을 막는 흔한 원인이고 마지막에 직접 확인하시는 법이 나옵니다.

오픈 전 차단이 오픈 후에도 남아 있는 경우

사이트를 만드는 동안에는 검색에 미리 걸리지 않도록 막아 둡니다. 제작 중인 화면이 완성되지 않은 채로 검색에 뜨면 곤란하기 때문입니다. 정상적인 절차입니다.

문제는 오픈한 뒤에 이 차단을 그대로 두는 경우입니다. 담당자가 설정 바꾸는 일을 잊거나, 다음 담당자에게 인계되지 않으면 벌어집니다.

사이트는 열렸는데 구글에는 여전히 닫힌 상태로 남습니다. 오픈하신 지 시간이 꽤 지났는데도 검색에 안 나온다면 이 차단부터 의심해 보십시오.

noindex 태그가 걸려 있는 경우

noindex는 이 페이지를 검색 결과에서 빼 달라는 표시입니다. 페이지 코드나 서버 설정에 한 줄로 들어갑니다. 화면만 봐서는 걸려 있는지 알 수 없습니다.

중요한 조건이 하나 있습니다. noindex가 작동하려면 그 페이지가 robots.txt(로봇의 출입을 정하는 파일)로 막혀 있으면 안 됩니다. robots.txt가 접근을 막으면 구글 로봇이 페이지 안으로 들어가지 못해서 noindex 규칙 자체를 읽지 못합니다.

그래서 둘을 동시에 걸어 두면 오히려 어긋납니다. 막아 둔 페이지 안의 noindex 지시는 구글에 보이지 않습니다. 둘 가운데 하나만 골라 쓰시는 편이 안전합니다.

noindex를 걸었는데도 검색에 한참 남아 있기도 합니다. 구글이 그 페이지를 다시 방문해야 규칙을 읽는데, 구글 문서는 그 방문에 몇 달이 걸릴 수도 있다고 적어 두었습니다. 기다리지 마시고 서치콘솔의 URL 검사 도구에서 재크롤링을 요청하십시오.

robots.txt가 접근 자체를 막는 경우

robots.txt는 구글 로봇 같은 크롤러가 들어갈 수 있는 주소를 정해 둔 파일입니다. 로봇이 사이트에 요청을 너무 많이 보내지 않게 조절하는 용도로 주로 씁니다.

여기서 오해하기 쉬운 지점이 있습니다. robots.txt로 막으면 검색에서도 빠진다고 여기기 쉽습니다. 구글 문서는 robots.txt가 페이지를 구글에서 빼는 장치가 아니라고 명확히 밝힙니다.

실제로는 반대에 가까운 일도 생깁니다. robots.txt로 막아 둔 페이지도 다른 사이트가 링크를 걸어 두면 색인될 수 있습니다. 구글 문서는 이런 페이지의 주소와 링크 문구가 검색 결과에 나타날 수 있다고 설명합니다.

페이지를 검색에서 확실히 빼고 싶으시면 robots.txt 말고 다른 방법을 쓰십시오. noindex 태그를 걸거나, 비밀번호로 보호하거나, 페이지를 아예 지우는 방법입니다. 구글 문서가 안내하는 세 가지입니다.

캐노니컬과 사이트맵이 어긋난 경우

같은 내용이 여러 주소로 열리는 사이트가 있습니다. http로 들어가는 주소와 https로 들어가는 주소, 모바일용 주소와 데스크톱용 주소, 정렬 옵션이 붙은 목록 페이지 같은 경우입니다.

이때 등장하는 개념이 캐노니컬 URL입니다. 여러 주소 중에서 구글이 대표로 고른 하나를 뜻합니다. rel="canonical" 태그로 힌트를 주실 수 있습니다. 다만 구글이 다른 페이지를 대표로 고르기도 합니다.

원하시는 페이지와 다른 페이지가 대표로 뜨면 그 주소부터 확인해 보십시오. 캐노니컬 지정이 서로 다른 페이지를 가리키거나 아예 빠져 있으면 생기는 문제입니다.

사이트맵도 함께 보십시오. 사이트 안의 페이지 목록과 관계를 구글에 알려주는 파일입니다.

링크가 잘 연결된 사이트는 사이트맵 없이도 페이지 대부분이 발견됩니다. 다만 새로 만드신 사이트는 사정이 다릅니다. 다른 곳에서 링크되지 않은 페이지를 구글이 놓칠 수 있다고 구글 문서는 설명합니다.

로그인 뒤 페이지와 화면만 있는 페이지

로그인해야 볼 수 있는 페이지는 크롤러도 못 들어갑니다. 사람이 아이디와 비밀번호를 치고 들어가듯 크롤러도 그 앞에서 막힙니다. 안에 있는 내용은 구글이 아예 보지 못합니다.

화면은 잘 보이는데 정작 중요한 글자가 자바스크립트로만 채워지는 페이지도 있습니다. 페이지마다 사정이 달라서 단정하기 어렵습니다. 앞의 네 가지를 다 확인하셨는데도 원인이 안 나오면 이쪽을 개발사에 물어보십시오.

직접 확인하는 법

가장 빠른 방법은 검색창의 site: 검색입니다. site:example.com처럼 도메인을 붙여 치십시오. 나오는 페이지가 있으면 그만큼은 색인돼 있다는 뜻입니다.

이 방법은 대략적인 확인용입니다. 정확한 판단은 구글 서치콘솔의 URL 검사 도구에서 하십시오. 확인하고 싶은 주소를 넣으시면 그 페이지 하나의 색인 상태를 보여줍니다.

URL 검사 도구는 크롤링과 색인 세부정보를 함께 보여줍니다. 색인됨인지 색인되지 않음인지 알려주고 색인되지 않았다면 그 이유도 짚어 줍니다.

서치콘솔에는 Test live URL 기능도 있습니다. 지금 이 순간의 페이지를 구글 눈으로 즉시 테스트합니다. noindex나 robots.txt 문제를 고친 직후에 바로 확인하기 좋습니다.

확인한 결과에 따라 다음에 할 일

색인되지 않음으로 나오면 이유를 함께 보여줍니다. noindex 태그, robots.txt 차단, 리다이렉트, 중복 페이지 같은 이유가 적혀 있습니다. 그 이유에 맞춰 설정을 하나씩 고치시면 됩니다.

이유가 따로 없이 아직 크롤링 전인 경우도 있습니다. 새로 만드신 사이트라면 자연스러운 단계입니다. 사이트맵을 제출해 두시면 구글이 페이지를 발견하는 데 도움이 됩니다.

색인됨으로 나오면 그 페이지는 이미 구글 목록 안에 있습니다. 검색에 안 보이는 이유가 색인이 아니라는 뜻입니다.

이때부터는 검색어와 페이지 내용이 얼마나 맞아떨어지는지, 같은 검색어를 두고 경쟁하는 페이지가 얼마나 많은지가 관건입니다. 색인이 아니라 콘텐츠의 문제로 넘어갑니다. 지금 단계에서는 색인이 됐다는 사실 하나만 확인하셔도 충분합니다.

그래서 지금 색인 상태를 확인해야 합니까?

네, 지금 색인 상태를 확인하셔야 합니다. 안 보인다는 느낌만으로는 원인을 좁힐 수 없습니다.

오픈 직후에는 막아 둔 설정과 noindex 태그가 그대로 남아 있기 쉽습니다. 담당자가 바뀌거나 인계가 끊기면 이 설정은 아무도 손대지 않은 채 남습니다. 그사이 구글은 페이지를 아예 모르는 상태로 있습니다.

확인을 미루면 원인을 콘텐츠 문제로 오해하고 엉뚱한 곳을 고치게 됩니다. 색인되지 않은 페이지는 아무리 다듬어도 검색 결과에 끼지 못합니다. 그동안 검색에서 고객을 만날 시간도 그대로 지나갑니다.

결론은 하나입니다. 순위를 고치기 전에 서치콘솔에서 색인 상태를 지금 확인하는 것입니다.