☰

필터를 사용하여 한 디렉터리에서 다른 디렉터리로 파일 복사

tag-icon • tag-icon linux bash aws
필터를 사용하여 한 디렉터리에서 다른 디렉터리로 파일 복사

내 소스 폴더에 이 파일들이 있습니다

source_path/date=20191230/somefile.txt
source_path/date=20191231/somefile.txt
source_path/date=20200101/somefile.txt
source_path/date=20200102/somefile.txt

다음 명령을 실행하면 모든 파일이 dest_path 폴더에 복사됩니다.

cp --recursive source_path/date=20200* dest_path/

내 로컬 컴퓨터에서 완벽하게 작동합니다.

필요에 따라 이 파일을 dest_path에 복사합니다.

source_path/date=20200101/somefile.txt
source_path/date=20200102/somefile.txt

문제는 AWS에서 동일한 것을 복제할 때 발생합니다. 이 명령을 사용하여 S3에서 Ec2 인스턴스로 복사합니다.

aws s3 cp --recursive s3://source_path/date=20200* home/ec2-user/dest_path/

이것은 작동하지 않고 오류도 발생하지 않으며 단지 다음과 같은 출력을 제공합니다.

0.35user 0.05system 0:00.48elapsed 85%CPU (0avgtext+0avgdata 50660maxresident)k
0inputs+0outputs (0major+17977minor)pagefaults 0swaps

답변1

~에서펑크 록 폴리~의스택 오버플로에 대한 답변(에서 발견됨사나십):

AWS 버킷에서 현재 디렉터리로 여러 파일을 다운로드하려면 및 recursive플래그 를 사용할 수 있습니다 . excludeinclude매개변수의 순서가 중요합니다.

명령 예:

aws s3 cp s3://data/ . --recursive --exclude "*" --include "2016-08*"

이러한 필터를 사용하는 방법에 대한 추가 정보:http://docs.aws.amazon.com/cli/latest/reference/s3/#use-of-exclude-and-include-filters

관련 정보