워드프레스 robots.txt 설정하는 방법

네이버 서치어드바이저 등록시 ‘메타태그를 찾을 수 없거나 네이버 검색 로봇이 사이트 서버에 접근을 할 수 없습니다’라는 오류가 생기면 워드프레스 robots.txt를 설정해야 합니다. 다양한 방법이 있지만 대중적으로 사용하는 요스트 플러그인을 활용해 설정하는 방법을 단계적으로 알려드릴게요.

robots.txt는 검색 로봇에게 블로그를 안내하는 가이드와 같습니다. 어디를 들어갈 수 있고 어디는 들어가면 안 되는 지를 나타내죠. 이 설정을 제대로 해야 무의미한 크롤링 없이 포스팅만 제대로 긁어갈 수 있기 때문에 반드시 설정해 주는 것이 좋습니다.

1. yoast SEO 플러그인 설치 및 활성화 하기

요스트를 활용한 로봇텍스트 robots.txt 설정 방법이므로 가장 먼저 요스트 플러그인을 설치해야 합니다. 워드프레스 관리자 페이지에 로그인 한 뒤 왼쪽 메뉴에서 플러그인 > 새 플러그인 추가를 클릭합니다. 플러그인 검색에 ‘요스트’를 입력 yoast SEO를 지금 설치 > 활성화 해 줍니다.

2. 요스트로 워드프레스 robots.txt 설정하기

플러그인이 활성화 되면 관리자 페이지 메뉴 하단에 yoast SEO 메뉴가 생성됩니다. yoast SEO를 눌러 도구 페이지를 연 뒤 해당 페이지 중간 쯤에 있는 파일 편집기를 눌러주세요. 편집기 페이지에서 robots.txt 생성을 누르면 자동으로 robots.txt가 설정됩니다.

3. robots.txt 설정 내용 변경 수정하기

robots.txt는 어떤 페이지를 크롤링할 수 있는지를 알려주는 역할이기 때문에 설정된 그대로 사용해도 좋지만 구글 SEO적으로 더 적합하도록 워드프레스 robots.txt를 수정하여 설정할 수 있습니다.

# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:

Sitemap: https://tingeblack.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK

일반적으로 적용되는 워드프레스 요스트 robots.txt는 위와 같습니다.

  • User-agent : 모든 종류의 검색 로봇에게 이 규칙을 적용하겠다는 의미
  • Disallow : 해당 페이지는 검색 로봇이 긁어가지 못하게 하는 설정
  • Allow : 해당 페이지 접근 허용

허락하지 않는 목록에 관리자 페이지 관련한 것들에는 접근하지 못하도록 Disallow : /wp-admin/ 을 추가로 설정해주는 것이 좋습니다. 다만 그 중에서도 admin-ajax.php 파일은 원활한 크롤링 등을 위해 필요하므로 따로 허가해주는 것을 권장합니다.

# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tingeblack.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK

따라서 위와 같이 내용을 수정해준 뒤 변경사항을 robots.txt에 저장을 클릭하면 구글 SEO 적으로도 좋은 워드프레스 robots.txt 설정이 완료되는 것이죠. 본인의 의도에 따라 더 구체적으로 허락과 불허락 목록을 조절할 수도 있는데 이건 구글에 검색하여 참고하시면 됩니다. 다만 제가 말씀드린 것만 설정해주셔도 충분해요.

4. 워드프레스 robots.txt 설정 확인하기

워드프레스 robots.txt가 제대로 설정 되었다면 브라우저에서 https://사이트주소/robots.txt 를 검색하여 등록된 robots.txt를 확인할 수 있습니다. 또한 네이버 서치어드바이저의 간단체크에서 자신의 사이트(블로그) 주소를 입력하면 마찬가지로 robots.txt를 통한 수집 가능 여부 또한 나타나니 이를 활용해 주시면 됩니다.

6. 네이버 서치어드바이저에 robots.txt 수집 요청하기

워드프레스 robots.txt 설정을 마쳤다면 네이버 서치어드바이저에 수집 요청을 해야 ‘메타태그를 찾을 수 없거나 네이버 검색 로봇이 사이트 서버에 접근할 수 없습니다’ 오류를 해결할 수 있습니다.

네이버 서치어드바이저 도구 메뉴에서 검증 > robots.txt 메뉴를 선택한 뒤 robots.txt 전문을 복사하여 상단의 robots.txt 정보 입력란에 붙여넣기 한뒤 수집요청 버튼을 눌러줍니다. 바로 아래 robots.txt 검증 항목에서 자신의 블로그주소/robots.txt 를 입력하여 수집이 가능한지 체크해보시는 것도 빼먹지 마세요.

▽만약 다음 웹마스터 도구에 마찬가지로 robots.txt를 등록하기를 원한다면 아래 포스팅을 참고해주세요!

워드프레스 다음 웹마스터도구 robots.txt 등록 방법

저 역시 네이버 서치어드바이저 등록 시 ‘매타태그를 찾을 수 없거나 네이버 검색 로봇이 사이트 서버에 접근할 수 없습니다’ 오류로 이리저리 해결 방법을 찾았는데, 요스트를 통해 워드프레스 robots.txt 설정을 한 뒤 시간을 두고 다시 소유자 확인을 하니 되더라고요. 구글이나 빙 웹마스터도구 등록할 때에는 필요 없지만 네이버 웹마스터도구인 서치어드바이저에 등록하려면 필요하니 미리 설정 하신 뒤 등록하시는 것을 추천드립니다. 만약 그래도 안된다면 워드프레스의 캐쉬를 지우거나 최대 이틀(48시간)정도의 여유를 두고 다시 해 보시면 될 것 같아요.

Similar Posts