aws cli를 사용하는 xargs cat 파일(Amazon s3 move)

file.csvs3의 다른 폴더(더 정확하게는 S3 버킷 내의 파일 경로)로 이동해야 하는 파일 목록인 이라는 파일이 있습니다 .

파일에는 53,00,000개의 파일이 나열됩니다. 다음을 시도했지만 각 작업에 시간이 오래 걸립니다.

cat file.csv | xargs -I {} aws s3 mv s3://Bucket1/{} s3://Bucket2/{}

다음을 통해 프로세스 속도를 높이려고 합니다.

cat file.csv | xargs -P50 -I {} aws s3 mv --recursive s3://Bucket1/{} s3://Bucket2/{}

...하지만 작동하지 않는 것 같습니다.

나는 또한 다음을 시도했습니다.

while read line; do
  echo ${line} | \
    xargs -n1 -P100 -I {} \
      aws s3 mv s3://Bucket1/{} s3://Bucket2/{} --recursive
done < file.csv

하지만 그것도 작동하지 않는 것 같습니다.

xargs입력 파일을 읽어 여러 aws cli 명령을 실행하는 방법은 무엇입니까 ?