크롤러: 페이지를 찾을 수 없음 해결

어느 날 갑자기 애드센스 정책센터에 알림이 떴습니다. 알림이 뜬이유는 '광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다.'라는 경고였습니다. 

 

 

현재 상태를 읽어보면 '나열된 문제로 인해 크롤러가 이 페이지에 액세스 할 수 없습니다. 참고로 이는 정책 위반이 아닙니다.'라고 한다. 수요는 제한되지만 그냥 둬도 된다는 이야기다. 하지만 개운하지 못한 기분이 들어 자세히 알아보기를 클릭해 보았습니다. 

 

구글 애드센스 크롤러 문제해결

 

 

문제 해결을 위한 방법을 제시하고 있지만 구글에서 제시한 문제 해결 방법은 사이트를 따로 운영하는 사람에게 해당되는 이야기이다. 티스토리 블로거는 사이트에 대한 접근권한이 없기 때문에 이런 해결 방법은 티스토리 블로거에게는 도움이 되지 못합니다. 티스토리 블로거는 티스토리 시스템 관리자가 아니기 때문에 robots.txt 파일에서 광고 크럴러에 액세스 권한을 부여할 수 없습니다.

 

그렇다고 그냥 삭제하면 속편 하긴 하지만 시간을 드려 쓴 글을 그냥 삭제하기에는 아쉬운 마음이 들었습니다. 그래서 여기저기 둘러보고 확인을 해보니 다른 사이트에서는 검색이 잘되고 있는 것 같은데 구글에서만 문제가 발생한 것 같았습니다. 해결해야 하는 문제는 아니었지만 수요가 제한됨이라고 떠서 뭔가 찝찝한 기분이 들어 해결해 보기라 마음먹었습니다. 

 

 

이 오류의 내용을 해석해보면 구글 서치 콘솔 크롤러가 현재 내 블로그의 특정 페이지를 인식하고 있지 못한다는 것이었습니다. 

 

현재 상태는 구글 서치 콘솔 크롤러가 특정 페이지에 접근하지 못하는 것입니다. 때문에 검색로봇이 접근할 수 있도록 해주어야 합니다. 그러기 위해서 네이버 웹마스터 도구를 이용하는 방법입니다.

 

 

네이버 웹마스터 도구에 로그인을 합니다. 검증 탭에서 robots.txt를 클릭해 줍니다. 스크롤을 살짝 밑으로 내려 robots.txt 간단 생성 찾을 수 있습니다. 여기서 사이트 웹 페이지 수집 허용과 관련된 간단한 robots.txt 파일을 생성할 수 있습니다. 

 

네이버 웹마스터 도구 robots.txt 간단생성

 

 

'네이버 검색로봇'이 라고 되어 있는 옵션을 '모든 검색로봇이' 옵션으로 변경해 준후 생성된 robots.txt 파일을 다운로드합니다. 

 

 

다운을 받았다면 티스토리 블로그의 관리자 메뉴로 옵니다. 관리자 메뉴에서 꾸미기 메뉴 옵션에 있는 스킨 편집을 클릭해 줍니다. 

 

 

다음으로 스킨의 Html편집을 클릭해 줍니다.

 

 

여기서 HTML, CSS, 파일 업로드 중에 '파일 업로드'를 클릭해 줍니다. 

추가를 눌러 조금 전에 네이버 웹마스터 도구를 이용해 생성한 robots.txt을 추가해줍니다.

 

 

그리고 적용을 누르면 끝입니다. 

 

이과정을 거친 후에 크롤러 오류가 바로 해결되는 것은 아니며 구글 서치 콘솔의 크롤러가 티스토리 블로그를 재방문할 때까지 기다려야 합니다. 처리되는 시간이 어느 정도는 걸립니다.