구글 서치 콘솔 문제해결: 색인이 생성되었으나 robots.txt에 의해 차단됨

SEO를 위해 구글 서치 콘솔에서 sitemap을 제출했는데

이런 메일이 날아왔습니다.

 

"색인이 생성되었으나 robots.txt에 의해 차단됨"

 

지금 구글 포털에 내 게시글은 잘 뜨고 있는데,

왜 이러는지 궁금했습니다.

그래서 바로 해결해주기로 했습니다.

 

결론적으로 말씀드리면, 

대부분은 문제가 없는 오류입니다.

(오류가 아니라 '경고' 수준이고, 

사실 건드리지 않아도 되는 문제였어요)

1. 구글서치콘솔 -> 색인 생성 범위 카테고리 

2. 구글 계정 로그인되어 있을 경우,

해당 화면이 보인다.

(오른쪽 상단에 내 사이트가 맞는지 확인)

반응형

3. 색인 생성 범위 카테고리에서

하단의 url을 하나씩 클릭해 봅니다.

"robots.txt 차단 테스트" click

4. Disallow: /m/search

특정 line이 차단되어 있습니다.

admin이나 main 페이지는 관리자와 메인 페이지여서

차단된 것이 당연합니다.

(정보 수집하게 두면 보안이 위험하니까요)

 

색인이 생성되었으나 robots.txt에 의해 차단됨 안내 메일에

해결법도 같이 적어주면 좋을텐데 아쉽네요.

5. 총 3개의 게시물이 막혀있습니다.

유효한 게시물도 많이 있기 때문에,

일단 패스해줍니다.

(문제가 크게 되지 않기 때문입니다)

 

'제외됨' 게시물의 비율이 높은데,

이것은 구글 서치 콘솔 등록을 한지 얼마 되지 않아서

그전에 쌓인 데이터거나..

아직 반영이 안 된 것 같습니다.

 

이것도 해결해볼 수 있다면,

세부적으로 조정해 해결할 예정입니다.

 

색인이 생성되었으나 robots.txt에 의해 차단됨 문제는

사실 문제가 아니었다는 결론입니다.

 

https://www.betterweb.or.kr/blog/%EC%84%9C%EC%B9%98-%EC%BD%98%EC%86%94-%EC%9D%B4%EC%95%BC%EA%B8%B0-6-%EA%B2%80%EC%83%89%EC%97%90-%EB%82%98%EC%98%A4%EC%A7%80-%EC%95%8A%EC%95%84%EC%9A%94/

서치 콘솔 이야기 (6) - 검색에 나오지 않아요 - 더 나은 웹