☰

컬과 wget은 아무것도 반환하지 않습니다

tag-icon • tag-icon linux networking wget curl troubleshooting
컬과 wget은 아무것도 반환하지 않습니다

나는 이것을 시도하고있다curl -I zomato.com | head -n 1

나는 어떤 응답도받지 못했습니다.

% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 
0  0    0    0     0   0     0       0   --:-  -:--     0:05:29 --:-   -:--     0

웹사이트가 방화벽으로 보호되나요?

심지어 wget사이트에서도 작동하지 않습니다. 다른 사이트는 예상대로 응답을 google.com반환합니다 .200

답변1

$ curl -I --max-redirs 1 "https://www.zomato.com/" 2>/dev/null  | grep "^location:" | awk '{print $2}'
https://www.zomato.com/some-location-in-mongolia

그래서...

$ newURL=$(curl -I --max-redirs 1 "https://www.zomato.com/" 2>/dev/null  | grep "^location:" | awk '{print $2}'| grep -o ".*[a-z]"); curl -I "$newURL" | head -n 1
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0
HTTP/2 200

이 포럼이 스크래핑 지원을 허용하는지 확실하지 않지만;

wget --header "User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0" --header "Host: www.zomato.com" --header "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" "https://www.zomato.com/bangalore/restaurants/biryani"

관련 정보