parallelism

다른 운영 체제를 시작하여 다른 시스템과 병렬로 실행
parallelism

다른 운영 체제를 시작하여 다른 시스템과 병렬로 실행

따라서 직장에는 모든 시스템과 동일한 자체 하드웨어에서 실행되는 시스템이 있습니다. 하드웨어 중 하나에 오류가 발생하면 실행 중인 시스템 중 하나가 오류가 발생한 시스템을 대신하여 시작하여 두 시스템 모두의 작업을 완료합니다. 모두 Linux 및 Intel CPU를 기반으로 합니다. 하나의 운영 체제가 다른 운영 체제를 시작하고 함께 실행하도록 만드는 방법은 무엇입니까? 단순히 프로그램을 실행하는 것이 아니라 전체 프로그램을 실행합니다. Windows에서 다른 OS가 병렬 컴퓨팅을 위해 CPU의 하나...

Admin

Bash 코드의 병렬 버전 작성 문제
parallelism

Bash 코드의 병렬 버전 작성 문제

샘플 Bash 스크립트를 병렬화하려고 하며 및 &와 같은 명령을 시도했습니다 wait. 병렬화하는 효율적인 방법이 무엇인지 알려주세요. 내 현재 코드는 reg2 변수의 제한된 항목으로 잘 작동합니다. 하지만 reg2 변수에는 수백만 개의 항목이 있습니다. 그래서 저는 가장 바깥쪽 루프가 평행해지기를 원합니다. 코드를 병렬화한 후에는 동일한 출력(예: 0,1,2,:,3,4,:,5,6)을 얻습니다. #!/bin/bash # array1=$1 # array2=($2) # reg2=($3) arr...

Admin

`$(nproc)`× `openssl dhparam`의 병렬 인스턴스를 실행하는 방법과 첫 번째 인스턴스가 `0`으로 종료되면 다른 인스턴스를 종료합니까?
parallelism

`$(nproc)`× `openssl dhparam`의 병렬 인스턴스를 실행하는 방법과 첫 번째 인스턴스가 `0`으로 종료되면 다른 인스턴스를 종료합니까?

나는 그것을 실행하고 openssl dhparam -out dhparam4096.pem 4096있으며 작업 기간 동안 단일 코어를 100%로 고정합니다(일부 프로세서에서는 상당히 클 수 있음). 기본적으로 유휴 상태인 추가 코어가 1개 이상 있는데 이를 사용하고 싶습니다. $(nproc)이 명령의 인스턴스를 × 실행하고 싶습니다 . 차이점은 모든 인스턴스를 완료할 필요는 없다는 것입니다. 첫 번째 인스턴스만 종료하면 됩니다. 일단 "승자" 인스턴스가 완료되면 0나머지 프로세스는 "d" 또는 유사해야 ...

Admin

두 스크립트가 동일한 파일에 쓸 때 경쟁 조건이 발생하지 않습니다.
parallelism

두 스크립트가 동일한 파일에 쓸 때 경쟁 조건이 발생하지 않습니다.

동일한 파일에 에코되는 두 개의 스크립트가 병렬로 실행 중입니다. 한 스크립트는 +++++++++++++++파일을 에코하고 다른 스크립트는 ===========파일을 에코합니다. 아래는 첫 번째 스크립트입니다. #!/bin/bash while [ 1==1 ]; do echo "+++++++++++++++" >> log.txt # commands done 두 번째 스크립트는 다음과 같습니다. #!/bin/bash while [ 1==1 ]; do echo "======...

Admin

쉘 병렬 최적화 사용
parallelism

쉘 병렬 최적화 사용

optipng쉘을 사용하여 8스레드 CPU와 병렬로 실행하고 싶습니다 . 나는 프로그램 자체가 멀티 코어에 최적화되어 있지 않으며 이를 수행할 수 있는 유일한 방법은 8개의 파일을 실행하는 것임을 알고 있습니다. 내 홈 디렉토리에 500개 이상의 PNG 이미지가 있는데 이 작업을 가능한 한 빨리 완료하고 싶습니다. 답변을 받았지만 찾을 수 없는 질문을 할 수도 있습니다. 중요한 경우 이 프로그램의 별칭을 정의했습니다. alias optipng='optipng -o7 -zm1-9 -strip all -...

Admin

http를 통해 대용량 파일을 병렬로 얻는 방법은 무엇입니까?
parallelism

http를 통해 대용량 파일을 병렬로 얻는 방법은 무엇입니까?

질문: HTTP는 오프셋에서 재개를 지원하므로 여러 스레드를 시작하여 서로 다른 파일 오프셋에서 여러 요청과 동시에 파일을 가져올 수 있는 도구(또는 wget 또는 컬과 같은 명령에 대한 기존 옵션)가 있습니까? 이는 각 소켓의 성능을 개별적으로 제한하는 데 도움이 됩니다. 이를 수행하는 프로그램을 작성할 수 있지만 해당 도구가 이미 존재하는지 알고 싶습니다. 배경: 최근에 대용량 ISO를 다운로드하고 싶습니다.하지만!...서버와 인터넷 제공업체 사이 어딘가에서 전송 속도는 100kb로 제한됩니다! ...

Admin

많은 Python 프로세스를 실행할 때 터미널이 자동으로 닫힙니다.
parallelism

많은 Python 프로세스를 실행할 때 터미널이 자동으로 닫힙니다.

시간을 절약하기 위해 여러 기계 학습 실험을 동시에 실행하려고 합니다. 내 운영 체제는 Fedora 36이고 emacs를 사용합니다. 내가 사용한 실험을 자동화하기 위해runs.py import subprocess subprocess.run("python train.py python train.py python train.py python train.py", shell=True) train.py신경망을 훈련시키는 데에는 다른 시드를 사용합니다. 그런 다음 emacs에서 여러 쉘을 열고 각 쉘 내에...

Admin

Bash에서 병렬로 변수 채우기
parallelism

Bash에서 병렬로 변수 채우기

find여러 하드 드라이브에 있는 파일에 액세스하는 명령의 속도를 높이기 위해 병렬화를 활용하려고 합니다. 불행하게도 병렬화가 무시되거나 변수가 채워지지 않습니다. found=""; IFS=$'\n' for hdd in "${hdd_list[@]}" do found+=$'\n'$(find "$hdd" -name "*filter*" -type f &) # ignores parellelization found+=$'\n'$(find "$hdd" -name "*filter*" -ty...

Admin

동시성 제한으로 인해 특정 프로젝트를 검사할 수 없나요?
parallelism

동시성 제한으로 인해 특정 프로젝트를 검사할 수 없나요?

내 컴퓨터에는 거의 400개의 Git 저장소가 있습니다. 다음은 상태를 종합적으로 찾는 데 사용하는 스크립트입니다. function Check() { gitFolder="$1" parent=$(dirname $gitFolder); Status=$(git -C $parent status) if [[ $Status == *Changes* ]] || [[ $Status == *Untracked* ]]; then Info $parent; git -C...

Admin

bash for 루프를 병렬화하고 파일 IO에 반복 변수를 사용하는 방법
parallelism

bash for 루프를 병렬화하고 파일 IO에 반복 변수를 사용하는 방법

다음과 비슷한 bash 스크립트가 있습니다. N=32 for i in $(seq -f "%06g" 0 ${LAST_NUM}) # LAST_NUM is an env variable do ((j=j%N)); ((j++==0)) && wait # Wait for all processes in batch to finish python foo1.py $i & python foo2.py "foo1_output${i}.file_extension" & python foo3...

Admin

-j -N을 사용한 GNU 병렬은 여전히 ​​하나의 CPU를 사용합니다.
parallelism

-j -N을 사용한 GNU 병렬은 여전히 ​​하나의 CPU를 사용합니다.

리소스를 포화시키지 않고 멀티 코어 노드에서 합리적인 병렬화를 얻는 방법은 무엇입니까? 다른 많은 유사한 질문과 마찬가지로, 문제는 합리적인 성능을 위해 GNU Parallel을 조정하는 방법을 배우는 방법입니다. 아래 예에서는 리소스가 포화되지 않고 프로세스를 병렬로 실행할 수 없거나 -j -N특정 옵션을 사용한 후 모든 것이 하나의 CPU에서 실행되는 것처럼 보입니다. 멀티 코어 시스템에서 실행되는 Bash 스크립트 내부에서 다음 루프가 GNU Parallel로 전달됩니다. for BAND in ...

Admin

Bash: 서브쉘이 실패했는지 어떻게 확인하나요?
parallelism

Bash: 서브쉘이 실패했는지 어떻게 확인하나요?

다음 코드를 고려해보세요: job() { local id=$1 sleep $id } do_job_in_parallel() { local pids=() # run subshells for id in $(seq 4) do job $id & pids=("${pids[@]}" $!) done # wait subshells for ((i=0; i<${#pids[@]}; ++i)) do local pid=${pids[$i]} wai...

Admin

max_parallel_downloads 증가는 yum 명령에 영향을 미치지 않습니다.
parallelism

max_parallel_downloads 증가는 yum 명령에 영향을 미치지 않습니다.

Red Hat 또는 CentOS 시스템에 모든 업데이트를 설치하려면 다음 명령을 사용합니다. yum -y update --skip-broken --nobest 우리는 업데이트 설치의 전체 실행 시간을 줄이는 방법을 찾고 있습니다. yum 문서에 따르면yum.conf(5) - Linux 매뉴얼 페이지(man7.org)max_parallel_downloads, 동시에 다운로드된 패키지 수를 구성하는 데 사용할 수 있는 매개변수가 있습니다 . 이 매개변수를 업데이트하고 테스트해 보았는데, 이 매개변수가 ...

Admin

정상적인 CPU 온도에도 불구하고 Kythe 코드 인덱싱 프로세스가 제한됨
parallelism

정상적인 CPU 온도에도 불구하고 Kythe 코드 인덱싱 프로세스가 제한됨

특정 워크로드를 실행할 때만 발생하는 CPU 제한 문제가 발생했습니다.Kythe 인덱서. 재현을 위한 자세한 단계는 질문 끝에 있습니다. 여기서는 높은 수준의 요약을 제공하겠습니다. Kythe는 소스 코드에서 인덱스를 추출하는 도구입니다. 저는 LLVM의 각 컴파일 단위에 대해 GNU Parallel에서 Kythe를 실행합니다(병렬은 자동으로 32개의 프로세스를 실행합니다). 다음 워크로드는 10분 이상 모든 코어를 지속적으로 최대화할 수 있었습니다. Ninja를 사용한 Clang 컴파일. 이 워크...

Admin

서브쉘 출력을 번들로 묶는 것이 가능합니까?
parallelism

서브쉘 출력을 번들로 묶는 것이 가능합니까?

모든 git 폴더의 상태를 확인하는 코드가 있습니다. find / -maxdepth 3 -not -path / -path '/[[:upper:]]*' -type d -name .git -not -path "*/Trash/*" -not -path "*/Temp/*" -not -path "*/opt/*" -print 2>/dev/null | { while read gitFolder; do ( parent=$(dirname $gitFolder); ...

Admin