사람 눈엔 멀쩡한 사이트, AI에게는 빈 페이지일 수 있습니다

사람 눈엔 멀쩡한 사이트가 AI에게 빈 페이지로 읽히는 까닭을 설명합니다. 읽기 프로그램 차단 설정, 첫 응답의 본문, 정해진 형식 정보, 사이트맵의 확인 방법을 다룹니다.

새 사이트를 연 뒤에 AI 서비스에 우리 회사를 물었더니 옛 서비스 설명이 나옵니다. 이름이 비슷한 다른 회사 소개가 대신 나오기도 합니다. 브라우저로 열어 보면 새 사이트는 흠 없이 보이는데 답변만 어긋나 있습니다.

AI 서비스가 사이트 내용을 읽어 가는 프로그램은 사람과 다른 방식으로 사이트를 받아 갑니다. 이 글에서는 그 프로그램을 읽기 프로그램이라고 부릅니다.

새로 연 사이트가 AI 답변에서 빠지는 일이 실제로 있습니까?

오픈 전에 걸어 둔 접근 차단이 오픈 뒤에도 남아 있는 사이트가 있습니다. 차단은 사이트 주소 바로 아래에 두는 접근 범위 안내 파일(robots.txt)에 적습니다. 그 파일로 읽기 프로그램을 막아 두면 사이트 내용은 AI 답을 만드는 자료로 모이지 않습니다. 개발 중에 쓰던 설정을 그대로 옮겨 온 사이트라면 이런 상태일 수 있습니다.

주소가 바뀐 리뉴얼 사이트에서는 다른 일이 생깁니다. 사이트맵은 어떤 주소가 있는지 읽기 프로그램에 알려 주는 목록입니다. 사이트맵에는 옛 주소가 있고 페이지마다 붙여 둔 대표 주소는 새 주소라고 해 보겠습니다. 두 주소가 엇갈리면 읽기 프로그램은 어느 쪽을 믿을지 정하지 못합니다.

차단 설정과 주소 엇갈림은 사람이 사이트를 둘러볼 때 드러나지 않습니다. 오픈 날 화면과 문의 양식, 연락처가 정상으로 보이면 확인이 끝난 것처럼 느껴집니다. 그러나 차단 파일과 주소 목록은 화면 밖에 있으므로 화면만 봐서는 확인할 수 없습니다.

AI 답변에 옛 정보가 나오는 이유를 사이트 쪽 항목 하나로 단정할 수는 없습니다. AI 서비스 안에서 일어나는 일은 사이트 운영자가 볼 수 없기 때문입니다. 그래서 사이트 쪽에서 확인할 수 있는 항목부터 보는 편이 순서에 맞습니다.

화면이 멀쩡한데 읽기 프로그램에는 왜 비어 있습니까?

읽기 프로그램은 서버가 주소 요청에 처음 보내 주는 내용(첫 응답)을 받아 갑니다. 서버는 사이트 파일을 보관하다가 방문 요청이 오면 내용을 보내 주는 컴퓨터입니다. 첫 응답에 본문이 없으면 읽기 프로그램이 읽을 글도 없습니다.

화면을 브라우저에서 자바스크립트로 그리는 사이트가 있습니다. 자바스크립트는 브라우저 안에서 화면을 만들어 내는 프로그램 언어입니다. 이런 사이트는 사람에게 완성된 화면이 보여도 첫 응답에는 본문이 없을 수 있습니다. 사람 눈에 보이는 화면과 읽기 프로그램이 받는 첫 응답은 다를 수 있습니다. 서버가 완성된 글을 바로 보내 주는 방식이면 이 문제가 생기지 않습니다.

정해진 형식 정보는 사람이 읽는 화면과 별도로 같은 내용을 정해진 형식으로 적어 두는 일입니다. 회사 이름과 글쓴이, 발행일, 자주 묻는 질문 같은 항목이 여기에 들어갑니다. 읽기 프로그램은 이 항목들을 헷갈리지 않고 가져갑니다.

글의 제목 계층도 뼈대가 됩니다. 제목 계층은 큰 제목 아래 중간 제목 아래 작은 제목으로 단계마다 이어지는 순서를 말합니다. 그 순서를 건너뛰지 않는 것이 뼈대를 지키는 방법이고 읽기 프로그램은 그 뼈대를 그대로 읽습니다.

내 사이트가 읽기 프로그램에 어떻게 보이는지 어디서 확인합니까?

확인은 화면이 아니라 설정 파일과 페이지 소스에서 합니다. 개발을 몰라도 브라우저 주소창과 마우스 오른쪽 메뉴만 있으면 아래 다섯 항목을 볼 수 있습니다.

1. 사이트 주소 뒤에 /robots.txt 를 붙여 열고 사이트 전체를 막는 줄이 남았는지 봅니다.

2. 첫 화면에서 마우스 오른쪽 메뉴의 페이지 소스 보기를 열고 본문 문장 하나를 검색합니다.

3. 같은 페이지 소스에서 회사 이름과 발행일이 정해진 형식으로 적혀 있는지 봅니다.

4. 사이트 주소 뒤에 /sitemap.xml 을 붙여 열고 목록의 주소가 페이지의 대표 주소와 같은지 비교합니다.

5. 사이트 주소 뒤에 /llms.txt 를 붙여 열고 파일이 있는지 봅니다.

읽을 곳 안내 파일(llms.txt)은 읽기 프로그램에게 이 사이트에서 무엇을 읽으면 되는지 알려 주는 파일입니다. 접근 범위 안내 파일과 같은 자리에 두므로 차단 줄이 남았는지 보는 1번 항목과 함께 볼 만합니다.

페이지 소스에서 본문 문장이 검색되지 않으면 첫 응답에 본문이 없는 사이트일 수 있습니다. 그때는 개발사에 서버가 완성된 글을 바로 보내 주는 방식으로 바꿀 수 있는지 물어보시면 됩니다.

구글 검색 쪽 확인은 서치콘솔(구글이 사이트 상태를 보여 주는 도구)의 주소 검사 기능(URL 검사)에서 할 수 있습니다. 주소 하나를 넣으면 구글이 그 페이지를 읽은 상태를 볼 수 있습니다. 검색 결과에 실리는지는 구글이 정하므로 이 화면에서는 읽힌 상태까지만 확인합니다.

오픈 전에 개발사와 어떤 항목을 먼저 맞춰 둡니까?

오픈 전에 맞춰 둘 항목은 차단 해제 시점, 본문을 만드는 방식, 정해진 형식 정보에 넣을 내용, 대표 주소입니다. 네 항목은 화면 디자인 시안에는 나오지 않습니다. 그래서 고객이 먼저 물어보지 않으면 논의 없이 지나가는 경우가 있습니다.

1. 차단 설정을 언제 누가 풀고 풀린 것을 어떻게 확인하는지

2. 본문을 서버가 완성해서 보내는지 브라우저에서 그리는지

3. 정해진 형식 정보에 회사 이름과 글쓴이, 발행일, 자주 묻는 질문 가운데 무엇을 넣는지

4. 리뉴얼로 주소가 바뀔 때 사이트맵과 대표 주소를 어느 쪽에 맞추는지

차단을 건 사람과 푸는 사람이 다르면 해제 확인이 빠질 수 있습니다. 개발 기간에는 한 업체가 설정하고 오픈 때는 다른 업체가 사이트를 올리는 경우가 그런 예입니다.

본문을 만드는 방식은 사이트의 기본 구조와 이어져 있습니다. 그래서 오픈 뒤에 바꾸려면 작업 범위가 달라질 수 있습니다. 이 항목은 만들기 시작하는 단계에서 정해 두는 편이 부담이 작습니다.

비용은 무엇에 따라 달라집니까?

정해진 가격표는 없고 아래 기준에 따라 범위가 달라지므로 상담 뒤 견적으로 안내합니다.

1. 사이트를 새로 만드는지 지금 사이트를 수정하는지

2. 지금 사이트가 브라우저에서 화면을 그리는 방식인지 서버가 글을 완성해서 보내는 방식인지

3. 정해진 형식 정보에 넣을 글 종류와 항목이 얼마나 되는지

4. 주소가 바뀌어 사이트맵과 대표 주소를 정리해야 하는지

5. 오픈 뒤에 글을 계속 올릴 계획이 있는지

다섯 가지 가운데 아시는 것만 알려 주셔도 범위를 잡을 수 있습니다.

문의하면 어떤 순서로 진행됩니까?

문의하신 뒤의 순서는 아래와 같습니다.

1. 문의를 남기시면 사이트 주소와 현재 겪고 계신 문제를 듣습니다.

2. 상담에서 위의 비용 기준을 하나씩 확인합니다.

3. 범위와 견적을 안내합니다. 견적을 보고 진행할지는 고객이 정하시면 됩니다.

4. 진행하시기로 하면 사이트를 제작합니다.

5. 프로젝트를 마치면 사이트와 계정을 고객에게 넘겨드립니다.

그래서 지금 사이트의 설정 파일부터 열어 봐야 합니까?

새 사이트를 연 뒤에 AI 답변에 옛 정보나 다른 회사 설명이 나온다면 다섯 항목을 한 번 열어 볼 만합니다. 막힌 곳이 나오면 그 항목을 개발사에 수정 요청하시면 됩니다.

다섯 항목에서 막힌 곳이 나오지 않았다면 사이트 쪽 원인은 일단 제외할 수 있습니다. 그때는 사이트 설정을 더 만지기보다 AI 서비스 쪽 사정을 따로 살펴보셔야 합니다.