구글 서치콘솔 색인 생성 범위 문제 robots.txt 차단됨 해결방법

색인 생성 범위 문제가 일부 해결되지 않았습니다. 이렇게 구글 서치콘솔 메일이 왔습니다.

티스토리를 운영하면서 최근에 색인 생성 범위 문제 메일이 도착했었는데 아직 해결되지 않았다며 다시 메일이 도착했습니다. 혹시나 애드센스에 문제가 생길까봐 알아봤는데 해결방법을 찾았습니다. 우선 메일을 읽어보면 이런 내용이 적혀있습니다.

서치콘솔이 사이트에서 1개의 색인 생성 범위 문제를 발견했습니다.

⚠️ 주요 경고
경고는 개선을 위한 제한사항입니다. 일부 경고는 검색 결과 노출에 영향을 미칠 수 있으며, 나중에 오류로 격상될 가능성이 있는 경고도 있습니다. 사이트에서 발견된 경고는 다음과 같습니다.
색인이 생성되었으나 robots.txt에 의해 차단됨

📝 서치콘솔 robots.txt 문제

그래서 색인 생성 범위 문제 해결하기 버튼을 눌러서 사이트로 들어와보니 똑같은 문구가 적혀있었습니다.

색인이 생성되었으나 robots.txt에 의해 차단됨

영향을 받은 페이지는 2개로 표시되어 있었습니다. 그래서 세부정보 보기를 클릭해서 어떤게 문제가 생겼는지 파악했습니다.

제 블로그 주소 뒤에 tistory.com/manage/post/ 주소와 tistory.com/search/ 주소 2개가 유효성 검사 상태에서 실패함으로 떠있었습니다. 이런 경우는 처음라서 어떤 문제인지 구글에 검색해봤는데 네이버 서치어드바이저 robots.txt와 관계가 있다는 말이 많았습니다. 우선 문제가 있는 URL을 클릭해봤습니다.

그럼 robots.txt 테스터가 뜨는데 Disallow: /manage 부분에 ⛔️ 이런 기호가 떠있는거 보이시나요. 누가 봐도 수상한 부분입니다. Disallow (인정하지 않다)는 특정 페이지를 수집하지 말라는 robots.txt 명령어입니다.

✅ 즉 manage = 관리자 페이지를 수집하지 말라는 명령어입니다. 블로그 관리자 이외에 다른 사람이 관리자 페이지를 열람할 수 있으면 큰일나죠. 단순히 생각해보면 이 명령어는 올바르게 입력되어 있습니다.

💻 네이버 서치어드바이저 접속

네이버 서치어드바이저 들어가서 robots.txt 부분을 보니 Disallow: /manage 부분이 있었습니다. 검색용 봇이 블로그 관리자 페이지 검색노출을 제외하고 있습니다. 이게 없으면 자신의 블로그 관리자 페이지가 검색엔진에 노출됩니다.

네이버 서치어드바이저에서 robots.txt 로봇이 잘 수집하고 있는지 최신 게시글을 검토해보니 수집이 가능하다는 메시지가 떴습니다. 결론은 저 메일은 경고라고 적혀있지만 그냥 무시하고 열심히 블로그 게시글을 업로드하시면 됩니다.

☑️ 구글 서치콘솔 색인 생성 범위 문제 robots.txt 요약

1. Disallow: /manage 명령어는 모든 검색엔진에서 관리자 페이지 접근을 막는 명령어.
2. 일반인들이 검색을 통해 자신의 블로그 관리자 페이지에 접근하면 안 되므로 정상적으로 잘 막아주고 있다.
3. 경고라고 적혀있어서 큰일 난 것 같지만 그냥 무시하고 블로그 작성하면 된다.

티스토리 저품질 탈출 후기 : 하루만에 해결완료

네이버 서치어드바이저 수집보류 해결방법

✉️ itarcadegame@gmail.com