☰

403 wget을 사용하여 재귀적으로 다운로드할 때 금지된 오류가 발생하지만 단일 파일은 다운로드하지 않습니다.

tag-icon • tag-icon wget
403 wget을 사용하여 재귀적으로 다운로드할 때 금지된 오류가 발생하지만 단일 파일은 다운로드하지 않습니다.

재귀적 wget 명령을 사용하여 디렉터리를 다운로드하려고 합니다.

wget -m -nH --cut-dirs=5 https://data.darts.isas.jaxa.jp/pub/pds3/sln-l-spice-6-v1.0/slnsp_1000/

이는 일부 파일에서 작동하지만 일련의 403 Forbidden 오류도 출력합니다.

--2023-06-13 08:43:51--  https://data.darts.isas.jaxa.jp/pub/pds3/sln-l-spice-6-v1.0/slnsp_1000/data/ck/SEL_M_200710_S_V03.lbl
Reusing existing connection to data.darts.isas.jaxa.jp:443.
HTTP request sent, awaiting response... 403 Forbidden
2023-06-13 08:43:51 ERROR 403: Forbidden.

하지만 파일을 개별적으로 다운로드하려고 하면 작동합니다.

wget -m -nH --cut-dirs=5 https://data.darts.isas.jaxa.jp/pub/pds3/sln-l-spice-6-v1.0/slnsp_1000/data/ck/SEL_M_200710_S_V03.lbl

--2023-06-13 09:06:44--  https://data.darts.isas.jaxa.jp/pub/pds3/sln-l-spice-6-v1.0/slnsp_1000/data/ck/SEL_M_200710_S_V03.lbl
Resolving data.darts.isas.jaxa.jp (data.darts.isas.jaxa.jp)... 133.74.198.108
Connecting to data.darts.isas.jaxa.jp (data.darts.isas.jaxa.jp)|133.74.198.108|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1382 (1.3K)
Saving to: ‘ck/SEL_M_200710_S_V03.lbl’

ck/SEL_M_200710_S_V03.lb 100%[================================>]   1.35K  --.-KB/s    in 0s      

2023-06-13 09:06:44 (18.3 MB/s) - ‘ck/SEL_M_200710_S_V03.lbl’ saved [1382/1382]

FINISHED --2023-06-13 09:06:44--
Total wall clock time: 0.7s
Downloaded: 1 files, 1.3K in 0s (18.3 MB/s)

나는 시도했다:

  • -e robots=off
  • --user-agent=Mozilla/5.0
  • --trust-server-names
  • Chrome 개발자 도구를 통해 개별 파일에 대한 요청 헤더를 봅니다. 쿠키나 리퍼러를 식별할 수 없습니다.
GET /pub/pds3/sln-l-spice-6-v1.0/slnsp_1000/data/ck/SEL_M_200711_D_V03.BC HTTP/1.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate, br
Accept-Language: en-US,en;q=0.9
Connection: keep-alive
Host: data.darts.isas.jaxa.jp
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Sec-Fetch-User: ?1
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36
sec-ch-ua: "Not.A/Brand";v="8", "Chromium";v="114", "Google Chrome";v="114"
sec-ch-ua-mobile: ?0

참고로 이러한 URL은 JAXA(일본 항공우주 탐사국) 우주 과학 임무에서 얻은 고급 데이터 제품을 보관하는 DARTS(Data Archive and Transfer System)에서 가져온 것입니다. 이는 이러한 데이터 제품의 공개 다운로드에 사용되며 인증 요구 사항이 없어야 합니다.

사용된 자원

관련 정보