구글 search console "색인이 생성되었으나 robots.txt에 의해 차단됨"
며칠 전 구글 웹마스터 도구(서치 콘솔)와 rss, 그리고 사이트맵에 관련된 글을 포스팅 했는데 구글로 부터 다음과 같은 메일을 한 통 받았다. 뭔가 큰 문제가 발생했나 싶어 걱정이 들었다. "색인 생성 범위 문제 해결하기" 버튼을 클릭해 보니 서치 콘솔의 페이지로 이동되었고 다음과 같은 페이지를 볼 수 있었다. 영향받을 페이지의 URL은 위와 같았다. https://falaner.tistory.com/manage 이 주소를 잘 보면 뒤에 manage 라는 단어가 포함되어 있고 이 주소는 이 블로그의 관리자 페이지와 관련이 있는 주소이다. 이 주소에 해당하는 페이지는 블로그 관리자만 볼 수 있는 페이지이고 방문자들은 볼 수 없도록 차단이 되어 있는 페이지이다. 티스토리에서 자체적으로 차단을 한 것이고 내..
