일괄 처리를 위해 일부 명령에 인수로 전달될 수 있는 파일 수를 계산하는 방법은 무엇입니까?

예를 들어 내 디렉터리에는 다음을 사용하여 생성된 여러 파일이 포함되어 있습니다.

touch files/{1..10231}_file.txt

나는 그것들을 새로운 디렉토리로 옮기고 싶습니다 new_files_dir.

가장 간단한 방법은 다음과 같습니다.

for filename in files/*; do
    mv "${filename}" -t "new_files_dir"
done

이 스크립트는 다음에서 작동합니다.10내 컴퓨터에서 몇 초. 매우 느립니다. 각 파일에 대한 명령 실행 으로 인해 mv속도가 느려집니다 .

###수정 시작###

내 경우에는 가장 간단한 방법이

mv files/* -t new_files_dir

또는 "매개변수 목록이 너무 깁니다"인 경우:

printf '%s\0' files/* | xargs -0 mv -t new_files_dir

그러나 위의 경우는 임무의 일부입니다. 전체 작업은 다음 질문에 있습니다.Linux에서 파일 이름을 기반으로 많은 수의 파일을 디렉토리로 이동. 따라서 파일을 해당 하위 디렉터리로 이동해야 하며 하위 디렉터리 대응은 파일 이름의 번호를 기준으로 합니다. 이것이 for내 코드 조각에서 반복 및 기타 이상한 현상의 원인입니다.

###편집 끝###

mv다음과 같이 단일 파일 대신 여러 파일을 명령에 전달하면 이 프로세스의 속도를 높일 수 있습니다.

batch_num=1000

# Counting of files in the directory
shopt -s nullglob
file_list=(files/*)
file_num=${#file_list[@]}

# Every file's common part
suffix='_file.txt'

for((from = 1, to = batch_num; from <= file_num; from += batch_num, to += batch_num)); do
    if ((to > file_num)); then
        to="$file_num"
    fi  

    # Generating filenames by `seq` command and passing them to `xargs`
    seq -f "files/%.f${suffix}" "$from" "$to" |
    xargs -n "${batch_num}" mv -t "new_files_dir"
done

이 경우 스크립트는 다음에서 작동합니다.0.2두번째. 따라서 성능이 50배 향상됩니다.

하지만 문제가 있습니다.이 파일 이름 세트가 최대 허용 길이보다 작다는 보장이 없기 때문에 언제든지 "매개변수 목록이 너무 김"으로 인해 프로그램이 작동을 거부할 수 있습니다.

내 생각계산은 다음과 같습니다 batch_num.

batch_num = "max allowable length" / "longest filename length"

그런 다음 batch_num에서 사용하십시오 xargs.

그러므로,질문:허용되는 최대 길이는 어떻게 계산됩니까?

---

나는 몇 가지 일을 했습니다:

1. 총 길이는 다음을 통해 확인할 수 있습니다.

    $ getconf ARG_MAX
    2097152
   

2. 환경 변수도 매개변수 크기에 영향을 미치므로 다음에서 빼야 합니다 ARG_MAX.

    $ env | wc -c
    3403
   

3. 올바른 값을 찾기 전에 다양한 수의 파일을 시도하여 동일한 크기의 최대 파일 수를 결정하는 방법(이진 검색 사용)이 개발되었습니다.

    function find_max_file_number {
        right=2000000
        left=1
        name=$1
        while ((left < right)); do
            mid=$(((left + right) / 2))
   
            if /bin/true $(yes "$name" | head -n "$mid") 2>/dev/null; then
                left=$((mid + 1))
            else
                right=$((mid - 1))
            fi
        done
        echo "Number of ${#name} byte(s) filenames:" $((mid - 1))
    }
   
    find_max_file_number A
    find_max_file_number AA
    find_max_file_number AAA
   

   산출:

    Number of 1 byte(s) filenames: 209232
    Number of 2 byte(s) filenames: 190006
    Number of 3 byte(s) filenames: 174248
   

   그러나 나는 이러한 결과의 논리/관계를 이해할 수 없었습니다.

4. 이 값이 시도되었습니다.답변계산에는 적합하지 않습니다.

5. 썼다씨프로그램은 전달된 매개변수의 전체 크기를 계산합니다. 이 프로그램의 결과는 비슷하지만 계산되지 않은 바이트가 일부 남아 있습니다.

    $ ./program {1..91442}_file.txt
   
    arg strings size: 1360534
    number of pointers to strings 91443
   
    argv size:  1360534 + 91443 * 8 = 2092078
    envp size:  3935
   
    Overall (argv_size + env_size + sizeof(argc)):  2092078 + 3935 + 4 = 2096017
    ARG_MAX: 2097152
   
    ARG_MAX - overall = 1135 # <--- Enough bytes are
                             # left, but no additional
                             # filenames are permitted.
   
    $ ./program {1..91443}_file.txt
    bash: ./program: Argument list too long
   

   프로그램.c

    #include <stdio.h>
    #include <string.h>
    #include <unistd.h>
   
    int main(int argc, char *argv[], char *envp[]) {
        size_t chr_ptr_size = sizeof(argv[0]);
        // The arguments array total size calculation
        size_t arg_strings_size = 0;
        size_t str_len = 0;
        for(int i = 0; i < argc; i++) {
            str_len = strlen(argv[i]) + 1;
            arg_strings_size += str_len;
    //      printf("%zu:\t%s\n\n", str_len, argv[i]);
        }
   
        size_t argv_size = arg_strings_size + argc * chr_ptr_size;
        printf( "arg strings size: %zu\n"
                "number of pointers to strings %i\n\n"
                "argv size:\t%zu + %i * %zu = %zu\n",
                 arg_strings_size,
                 argc,
                 arg_strings_size,
                 argc,
                 chr_ptr_size,
                 argv_size
            );
   
        // The enviroment variables array total size calculation
        size_t env_size = 0;
        for (char **env = envp; *env != 0; env++) {
          char *thisEnv = *env;
          env_size += strlen(thisEnv) + 1 + sizeof(thisEnv);
        }
   
        printf("envp size:\t%zu\n", env_size);
   
        size_t overall = argv_size + env_size + sizeof(argc);
   
        printf( "\nOverall (argv_size + env_size + sizeof(argc)):\t"
                "%zu + %zu + %zu = %zu\n",
                 argv_size,
                 env_size,
                 sizeof(argc),
                 overall);
        // Find ARG_MAX by system call
        long arg_max = sysconf(_SC_ARG_MAX);
   
        printf("ARG_MAX: %li\n\n", arg_max);
        printf("ARG_MAX - overall = %li\n", arg_max - (long) overall);
   
        return 0;
    }
   

   나는 이 프로그램의 정확성에 대해 StackOverflow에 질문을 했습니다:argv, envp, argc(명령줄 인수)의 최대 요약 크기는 항상 ARG_MAX 제한에서 멀리 떨어져 있습니다..