사이트에서 방화벽으로 검색로봇 접근을 제한하면,검색결과에 사이트가 노출하지 않습니다! > 자유게시판

이외에도 검색로봇이 수집할 수 없는 상황 한가지를 소개드리려고 해요.


사이트 서버에 방화벽이 설정 되어있고,
네이버 검색로봇인 Yeti가 사이트에 접근하지 못하도록 제한하고 있다면

사이트 웹페이지를 수집할 수 없으므로,
검색결과에 사이트 정보를 노출할 수 없습니다.


네이버 검색로봇의 접근 제한은 웹마스터도 모르게 설정된 경우가 많으니
검색결과에 사이트가 노출하지 않는다면 반드시 확인해보시기 바랍니다.

쉽고 빠르게 자가진단 할 수 있는 방법 두가지가 있습니다.
같이 알아볼까요?

방화벽으로 네이버 검색로봇 Yeti가 접근하지 못하게 제한하고 있다면,
웹마스터도구 소유확인할 때 안내 메세지를 노출합니다.

네이버 웹마스터도구에서 사이트 소유확인을 시도하셨는데 위와 같은 메세지를 보셨다면
호스팅 업체 또는 사이트 서버관리자에게 네이버 검색로봇 Yeti의 접근을 허용해달라고 요청해주세요.
서버 담당자에게 요청하실 때, 네이버 검색로봇의 이름(User Agent)인 Yeti를 반드시 함께 알려주셔야 합니다.

hurl.it 등 사이트에서 사이트 정보와 검색로봇의 이름 Yeti를 입력하시면 방화벽이 네이버 검색로봇이 접근하지 못하게 제한하는지 쉽게 확인할 수 있습니다.

① Destination 처럼 URL 입력창에 사이트 주소를 그대로 입력해주세요.
② Header 처럼 네이버 검색 로봇을 입력하는 항목에 검색로봇이름을 그대로 입력해주세요.  
     hult.it 기준으로 아래와 같이 입력되어야합니다.
    - name : user-agent
    - value : Mozilla/5.0 (compatible; Yeti/1.1; +http://help.naver.com/robots/)
③ 요청 버튼을 눌러주세요.

결과에 ●302 found 메세지가 확인되어야만, 네이버 검색로봇이 사이트에 접근 가능합니다.
네이버 검색로봇을 제한하고 있다면 Request Time Out! 과 같은 오류가 발생합니다.


설명드린 두가지 방법이 어렵게 느껴지시나요?
그렇다면 사이트 개발자 또는 서버 관리자와 함께 확인해보시는 것을 권해드립니다.
5분도 안걸리고 쉽게 확인할 수 있습니다.

감사합니다.