☰

.htaccess를 사용하여 모든 봇을 차단하는 방법은 무엇입니까? [폐쇄]

tag-icon • tag-icon linux htaccess
.htaccess를 사용하여 모든 봇을 차단하는 방법은 무엇입니까? [폐쇄]

모든 로봇을 금지했지만 Bing 로봇은 규칙을 따르지 않기 때문에 Bing 로봇은 robots.txt 규칙을 따르지 않는 것으로 나타났습니다. .htaccess를 사용하여 일부 로봇을 차단했습니다. 모든 로봇을 차단하는 코드가 있습니까?

답변1

모든 봇은 다음과 같이 차단되어야 /robots.txt합니다 .htaccess.

# cat robots.txt
User-agent: *
Disallow: /

파일은 문서 루트에 있어야 하며 누구나 읽을 수 있어야 합니다. 웹 브라우저에서 열어서 확인하십시오. http://yourdomain/robots.txt파일 내용이 제공되어야 합니다.

기술적으로는 봇이 이를 따르지 않을 수도 있지만 실제로는 따라야 합니다. 나는 Bing이 그렇다고 확신합니다.

어떤 이유로(실제 Bing을 사용할 가능성이 낮음) 이것이 작동하지 않는 경우 다음을 시도해 보십시오.

# cat .htaccess
SetEnvIfNoCase User-Agent .*bot.* search_robot
SetEnvIfNoCase User-Agent .*bing.* search_robot
SetEnvIfNoCase User-Agent .*crawl.* search_robot
Order Deny,Allow
Deny from env=search_robot
Allow from All

mod_setenvif이를 위해서는 아파치 모듈을 활성화 해야 합니다 .http://www.askapache.com/htaccess/setenvif.html

관련 정보