wget

wget -I='/my/subpath,/my/subpath/*' (/my/subpath/)는 제외/포함되지 않습니다. 로드하지 않기로 결정했습니다
wget

wget -I='/my/subpath,/my/subpath/*' (/my/subpath/)는 제외/포함되지 않습니다. 로드하지 않기로 결정했습니다

문서에 해당하는 일부 페이지를 색인화하려고 합니다. 내 생각엔 이걸 위해서야 wget --no-parent -r -l 5 https://developer.mozilla.org/en-US/docs/Web/JavaScript/ 그러나 요청은 이전 URL의 상위 URL로 리디렉션되므로 https://developer.mozilla.org/en-US/docs/Web/JavaScript다운로드되지 않습니다. 따라서 이 문제를 해결하려면 -I를 사용해야 합니다. 내가 아는 한 wget \ `## Basic S...

Admin

단일 연결을 통해 wget과 병렬로 파일 다운로드
wget

단일 연결을 통해 wget과 병렬로 파일 다운로드

이 질문은 후속 질문입니다.wget을 사용하여 여러 파일을 동시에 다운로드하는 방법은 무엇입니까? 이 질문과 마찬가지로 많은 파일을 다운로드해야 합니다. 위의 답변에 따르면 권장됩니다 cat url-list | parallel -j8 wget {}. 그러나 이를 위해서는 각 URL에 대한 TCP 연결 및 https/TLS 협상이 필요하며 이는 클라이언트와 서버 측 모두에서 낭비입니다. 모든 URL이 동일한 서버에 있는 경우 GET /object.txt단일 TCP/HTTP 연결을 통해 여러 쿼리를 수행...

Admin

Wget 및 크롬 다운로드
wget

Wget 및 크롬 다운로드

Chrome을 통해 HTTP 링크 파일을 다운로드할 수 있지만 형식은 http://someplace.some/get.php?username=myusername&password=mypass&type=m3u_plus&output=ts wget을 사용하여 동일한 작업을 수행하려고 하면 404 오류가 발생합니다. wget --user=myusername --password=mypass "http://someplace.some/get.php?type=m3u_plus&output=t...

Admin

다운로드한 파일이 파일 이름의 첫 글자를 포함하는 하위 폴더로 나누어지도록 매우 큰 URL 목록을 다운로드하려면 어떻게 해야 합니까?
wget

다운로드한 파일이 파일 이름의 첫 글자를 포함하는 하위 폴더로 나누어지도록 매우 큰 URL 목록을 다운로드하려면 어떻게 해야 합니까?

많은 파일(>수천만 개)을 다운로드하고 싶습니다. 각 파일의 URL이 있습니다. 내 파일에 URL 목록이 있습니다 URLs.txt. http://mydomain.com/0wd.pdf http://mydomain.com/asz.pdf http://mydomain.com/axz.pdf http://mydomain.com/b00.pdf http://mydomain.com/bb0.pdf etc. 을(를) 통해 다운로드할 수 있지만 wget -i URLs.txt1시간 이상이 소요됩니다.최고폴더에 넣을 ...

Admin

wget은 작동하지만 특정 REST URL에 대해 컬이 실패하는 이유는 무엇입니까?
wget

wget은 작동하지만 특정 REST URL에 대해 컬이 실패하는 이유는 무엇입니까?

대답으로하나의 질문다른 웹사이트에서 이 URL에서 데이터를 가져오려고 하면 curl다음과 같은 이상한 차이점이 나타납니다.wgethttps://www.uniprot.org/uniprot/A2Z669.fasta 어떤 이유로 파일을 올바르게 가져오는 curl동안 자동으로 다운로드에 실패합니다 .wgetA2Z669.fasta $ ls -la total 300 drwxr-xr-x 2 terdon terdon 266240 Dec 11 12:22 . drwxr-xr-x 202 terdon terdon 32...

Admin

wget을 통해 검색된 파일 이름 앞에 --content-disposition 옵션을 사용하십시오.
wget

wget을 통해 검색된 파일 이름 앞에 --content-disposition 옵션을 사용하십시오.

URL 패턴을 통해 일부 파일을 다운로드해야 합니다. https://www.server.org/data/2021/{i}여기서는 1부터 1000까지 다양할 수 있습니다. 파일은 PDF 파일이며 모두 고유한 이름을 갖습니다. 예: https://www.server.org/data/2021/1 ====> document_about_feature.pdf https://www.server.org/data/2021/2 ====> "activity report.pdf" https://www...

Admin

wget과 동시에 다운로드할 수 있나요?
wget

wget과 동시에 다운로드할 수 있나요?

wget나는 이것을 사용하여 목록에서 여러 파일을 다운로드하고 있습니다. wget -nc --input-file=list 이 방법의 문제점은 파일을 순차적으로 다운로드하고 시간이 오래 걸린다는 점입니다. 파일을 여러 개의 작은 파일로 분할하고 여러 명령을 수동으로 실행할 수 있다는 것을 알고 있습니다. 자동으로 할 수 있는지 물었습니다. ...

Admin

wget — 클러스터의 여러 노드에서 여러 파일을 다운로드합니다.
wget

wget — 클러스터의 여러 노드에서 여러 파일을 다운로드합니다.

안녕하세요. 정확히는 279개의 많은 파일을 한 번에 다운로드하려고 합니다. 각각은 BAM 크기입니다(~90GB). 제가 작업 중인 클러스터에는 여러 노드가 있으며 운 좋게도 한 번에 여러 인스턴스를 할당할 수 있습니다. 이런 상황에서 wget배치 파일(바라보다아래 예) 독립적인 실행을 위해 각 다운로드를 별도의 노드에 할당합니다. 배치파일.txt <https_link_1> -O DNK07.bam <https_link_2> -O mixe0007.bam <https_link_...

Admin

wget 버전을 업데이트할 수 없습니다.
wget

wget 버전을 업데이트할 수 없습니다.

내 wget 버전을 1.22로 업데이트하고 싶습니다. 현재 다음 명령을 사용하면 1.19입니다. curl -O https://ftp.gnu.org/gnu/wget/wget-1.21.tar.gz 하지만 다음과 같은 오류가 발생합니다. % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left ...

Admin

wget에 대한 문서화되지 않은 -Y 옵션은 무엇입니까?
wget

wget에 대한 문서화되지 않은 -Y 옵션은 무엇입니까?

wget -Y off ...(bunch of stuff)...이전에 접한 적이 없는 스크립트를 발견했습니다. 매뉴얼 페이지를 살펴봐도 wget --help아무 것도 발견되지 않았습니다. 그러나 이는 옵션으로 존재합니다. 존재하지 않는 옵션과 대조해 보세요 -Z. # wget -Y wget: option requires an argument -- 'Y' Usage: wget [OPTION]... [URL]... Try `wget --help' for more options. # wget -Z wget...

Admin

Geckodriver 설치 오류
wget

Geckodriver 설치 오류

이 파일을 다운로드해야 합니다: "https://github.com/ curl -s https://github.com/mozilla/geckodriver/releases | grep -E -o '/mozilla/geckodriver/releases/download/[a-z0-9/.-]{5,}linux64.tar.gz' | head -n 1" 이것은 내 명령입니다: wget -O geckodriver-linux64.tar.gz echo "https://github.com/`curl -s https://...

Admin

wget 오류: 인증서 소유자가 호스트 이름과 일치하지 않습니다.
wget

wget 오류: 인증서 소유자가 호스트 이름과 일치하지 않습니다.

wget"인증서 소유자가 호스트 이름과 일치하지 않습니다." 오류와 함께 명령이 파일을 다운로드하지 못합니다. 전체 명령 출력은 다음과 같습니다. wget --continue --directory-prefix=/download https://server.example.com/repo/software-1.0.rpm Resolving server.example.com (server.example.com)... 10.77.66.27 Connecting to server.example.com (serve...

Admin

FCC ECFS 사이트에서 문서를 다운로드하기 위해 wget 또는 컬을 사용할 수 있습니까?
wget

FCC ECFS 사이트에서 문서를 다운로드하기 위해 wget 또는 컬을 사용할 수 있습니까?

FCC의 ECFS(Electronic Comment Filing System)를 사용하여 개별 소송 파일을 일괄 다운로드하려고 합니다. 소송의 모든 신청서를 반환하는 API가 있습니다. 단일 문서의 URL을 다음 형식으로 반환합니다. https://www.fcc.gov/ecfs/document/10809709027819/1 그러나 이것이 브라우저에서 작동하는 동안 wget 또는 컬을 사용할 때 JavaScript가 필요함을 나타내는 자리 표시자 HTML 파일만 다운로드합니다. 브라우저에서 페이지를 검...

Admin