병렬성을 사용하여 많은 디렉터리를 하위 디렉터리로 분할하거나 이 작업을 병렬화합니다.

Question 1

문제는 셸 확장 후 명령줄이 차지할 수 있는 바이트 수에 상한이 있다는 것입니다. 이 제한은 시스템 제한에 따라 다릅니다.

getconf ARG_MAX

mv {}따라서 최대 한도에 도달하는 한 입력 파일 이름의 길이에 따라 매개변수 수가 달라집니다.

병렬성 사용을 포기하지 않고 이러한 제한을 피하는 솔루션은 작업을 두 단계로 나누는 것입니다.

ls -tr | parallel -N 100000 --pipe -k "mkdir dir_{#}; parallel -X mv -t dir_{#}"

설명하다

첫 번째 단계에서는 옵션을 사용하여 --pipe표준 입력을 결정된 수로 분할합니다.더 작은 표준 입력, 각 줄에는 옵션으로 지정된 n 줄이 포함됩니다 -N. 이 예를 사용하여 효과를 확인할 수 있습니다
```
seq 1000000 | parallel -N 100000 --pipe wc -l
```
100000에서 정확한 세분화를 제공합니다.
```
100000
100000
100000
...
```
두 번째 단계에서는 내부 병렬이 수행됩니다.더 작은 표준 입력실행 작업에 대한 새로운 표준 입력으로 이 -X옵션은 명령줄 길이가 허용하는 만큼 많은 인수를 삽입합니다.
```
mkdir dir_{#}; parallel -X mv -t dir_{#}
```

Answer

문제는 셸 확장 후 명령줄이 차지할 수 있는 바이트 수에 상한이 있다는 것입니다. 이 제한은 시스템 제한에 따라 다릅니다.

getconf ARG_MAX

mv {}따라서 최대 한도에 도달하는 한 입력 파일 이름의 길이에 따라 매개변수 수가 달라집니다.

병렬성 사용을 포기하지 않고 이러한 제한을 피하는 솔루션은 작업을 두 단계로 나누는 것입니다.

ls -tr | parallel -N 100000 --pipe -k "mkdir dir_{#}; parallel -X mv -t dir_{#}"

설명하다

첫 번째 단계에서는 옵션을 사용하여 --pipe표준 입력을 결정된 수로 분할합니다.더 작은 표준 입력, 각 줄에는 옵션으로 지정된 n 줄이 포함됩니다 -N. 이 예를 사용하여 효과를 확인할 수 있습니다
```
seq 1000000 | parallel -N 100000 --pipe wc -l
```
100000에서 정확한 세분화를 제공합니다.
```
100000
100000
100000
...
```
두 번째 단계에서는 내부 병렬이 수행됩니다.더 작은 표준 입력실행 작업에 대한 새로운 표준 입력으로 이 -X옵션은 명령줄 길이가 허용하는 만큼 많은 인수를 삽입합니다.
```
mkdir dir_{#}; parallel -X mv -t dir_{#}
```

Question 2

이 문제에는 많은 IO가 포함됩니다. parallel이 경우 이것이 실제로 유용할지 의심됩니다 .

어쨌든 "전통적인" 접근 방식을 고려해 보시기 바랍니다.

 mkdir dir_{1..10}
 ls -tr | nl | \
    awk '$2 !~ /^dir_/ {i=1+int($1/100000); print $2 | "xargs mv -t dir_"i}'

어디

가능하다면 각각의 시간도 비교해 보세요. ( time ....그리고 결과를 우리와 공유하세요 ☺)

Answer

이 문제에는 많은 IO가 포함됩니다. parallel이 경우 이것이 실제로 유용할지 의심됩니다 .

어쨌든 "전통적인" 접근 방식을 고려해 보시기 바랍니다.

 mkdir dir_{1..10}
 ls -tr | nl | \
    awk '$2 !~ /^dir_/ {i=1+int($1/100000); print $2 | "xargs mv -t dir_"i}'

어디

가능하다면 각각의 시간도 비교해 보세요. ( time ....그리고 결과를 우리와 공유하세요 ☺)

관련 정보