나는 달리고 있다깎다우분투 서버 13. 크롤링하면 네트워크 속도가 매우 느려지고 시스템에 SSH로 연결하기조차 어렵습니다.
스크래피가 사용하지 않는 다른 라우터에 다른 네트워크 인터페이스 카드를 연결하면 문제를 해결할 수 있을 것 같습니다. 가능합니까? 어떻게?
답변1
일반적으로 말하면 그렇습니다. 도움이 될 수 있는 몇 가지 참고 사항:
인터페이스가 여러 개인 경우 고정 경로를 설정하여 특정 대상에 도달하는 데 사용해야 하는 인터페이스를 지정할 수 있습니다.CentOS 네트워크 문서괜찮은 가이드가 있습니다. 이를 통해 시스템이 특정 아웃바운드 주소에 액세스하는 데 사용하는 인터페이스를 지정할 수 있습니다.
당신이 얻을 수 있기를 더 원하는 것처럼 들립니다.존재하다백업 인터페이스에서. 대부분의 데몬(예
ssh: )에서는 수신 대기하는 인터페이스를 구성할 수 있습니다. SSH의 경우 다음을 참조하세요.sshd_configListenAddress구성.물론, 이 중 어느 것도 특정 인터페이스를 사용하도록 애플리케이션을 구성할 수 있는지 여부를 묻는 질문은 아닙니다. 다음을 사용하는 경우에도 가능합니다.iptables
--uid-owner해당 사용자의 애플리케이션에서만 사용되는 경로를 지정하는 옵션입니다. 가지다linuxquestions.org에서 이 시나리오에 대한 유용한 토론.마지막으로, 네트워크에 병목 현상이 있는 것이 확실합니까? 프롬프트도 표시되지 않으면
scrapy너무 많은 CPU를 소비하지 않는지 확인 하고nice그렇다면 -ing 등을 고려합니다.