차단할 봇 목록이 있으므로 이러한 유형의 작업에는 mod_security가 더 효과적이라는 것을 깨달을 때까지 fall2ban이 해결책이 될 수 있다고 생각했습니다.
엄청난 수의 봇이 있으므로 구성 파일에는 긴 목록이 포함됩니다.
내 질문은 성능(메모리, 프로세서, 디스크 등)에 관한 것입니다.
차단할 봇 수가 많으면 트래픽이 많은 사이트에서 Apache의 성능에 영향을 미치나요?
답변1
성능은 문제가 되지 않습니다. 로컬 DNS 캐시와 결합된 ModSecurity의 @rbl 기능을 확인하면 DNS에서 위반자를 추적하고 특정 연결을 허용하거나 차단하기로 결정할 때 해당 DNS 영역을 참조로 사용할 수 있습니다.
답변2
긴 봇 목록을 관리하는 대신 사용자 에이전트 문자열에 있는 몇 가지 키워드를 기반으로 봇을 필터링하고 특정 봇만 통과하도록 허용할 수 있습니다.
내 사이트를 크롤링하고 싶지 않은 모든 스파이더/봇을 차단하는 데 이 기능을 사용합니다. 그런 다음 사이트 색인을 생성하는 데 관심이 있는 사람들에게만 허용합니다. 다른 모든 것은 방화벽에 의해 차단됩니다.
이것은 지금까지 나에게 잘 수행되고 있습니다.
sudo nohup tail -f /var/log/apache2/access.log | awk -F' - |\"' 'tolower($7) ~ /bot|crawler|spider/ && tolower($7) !~ /google|yahoo|bing|msn|ask|aol|duckduckgo/{system(" sudo ufw deny from "$1" to any comment \""$7"\"")}' > /dev/null &