이름으로 파일을 삭제하는 것이 고통스러울 정도로 느리지만 엄청나게 빠른 이유는 무엇입니까?

Question 1

rm -r은 재귀로 인해 속도가 느려질 것으로 예상됩니다. 디렉터리 구조의 깊이 우선 탐색이 수행되어야 합니다.

그렇다면 천만 개의 파일을 어떻게 생성합니까? 어떤 순서로 반복되는 스크립트를 사용하고 있습니까? 1.txt,2.txt,3.txt... 그렇다면 이러한 파일은 동일한 순서로 HDD의 연속 블록에 할당될 수도 있습니다. 따라서 동일한 순서로 삭제하는 것이 더 빠릅니다.

"ls -f"는 -aU를 활성화합니다. 이는 다시 재귀적인 디렉터리 순서로 나열됩니다.

Answer

rm -r은 재귀로 인해 속도가 느려질 것으로 예상됩니다. 디렉터리 구조의 깊이 우선 탐색이 수행되어야 합니다.

그렇다면 천만 개의 파일을 어떻게 생성합니까? 어떤 순서로 반복되는 스크립트를 사용하고 있습니까? 1.txt,2.txt,3.txt... 그렇다면 이러한 파일은 동일한 순서로 HDD의 연속 블록에 할당될 수도 있습니다. 따라서 동일한 순서로 삭제하는 것이 더 빠릅니다.

"ls -f"는 -aU를 활성화합니다. 이는 다시 재귀적인 디렉터리 순서로 나열됩니다.

Question 2

파일 구조를 최적화해야 합니다. 그래서 대신

for i in $(seq 1 1000); do touch file.$i; done

다음과 같이 더 스마트하게 수행하십시오(bash 가정).

function bucklocate() 
{ 
    hash=$(echo -n "$1"|md5sum|cut -f1); 
    echo -n "${hash:1:1}/${hash:7:1}/${hash:9:2}/$1"; 
}

hexdig="{0,1,2,3,4,5,6,7,8,9,a,b,c,d,e,f}"
eval mkdir -p $hexdig/$hexdig/$hexdig$hexdig


for i in $(seq 1 1000); do touch $(bucklocate file.$i); done

이제 이 예제는 md5sum[1]을 사용하기 때문에 상당히 느립니다. 다음과 같은 것을 사용하면 특정 파일 이름이 필요하지 않고 중복에 대해 걱정할 필요가 없는 한 응답성이 더 좋아질 것입니다. 반복 가능하려면 특정 이름이 필요합니까? 하 희망합니다 :)

mkdir -pv {0,1,2,3,4,5,6}/{0,1,2,3,4,5,6,7,8,9,10,12}
for  a in $(seq 1 100); do i=$RANDOM; echo touch "$(($i%7))/$(($i%13))/file.$i"; done

물론 이것은 모두 해시 테이블 개념을 성급하게 차용한 것입니다.

Answer

파일 구조를 최적화해야 합니다. 그래서 대신

for i in $(seq 1 1000); do touch file.$i; done

다음과 같이 더 스마트하게 수행하십시오(bash 가정).

function bucklocate() 
{ 
    hash=$(echo -n "$1"|md5sum|cut -f1); 
    echo -n "${hash:1:1}/${hash:7:1}/${hash:9:2}/$1"; 
}

hexdig="{0,1,2,3,4,5,6,7,8,9,a,b,c,d,e,f}"
eval mkdir -p $hexdig/$hexdig/$hexdig$hexdig


for i in $(seq 1 1000); do touch $(bucklocate file.$i); done

이제 이 예제는 md5sum[1]을 사용하기 때문에 상당히 느립니다. 다음과 같은 것을 사용하면 특정 파일 이름이 필요하지 않고 중복에 대해 걱정할 필요가 없는 한 응답성이 더 좋아질 것입니다. 반복 가능하려면 특정 이름이 필요합니까? 하 희망합니다 :)

mkdir -pv {0,1,2,3,4,5,6}/{0,1,2,3,4,5,6,7,8,9,10,12}
for  a in $(seq 1 100); do i=$RANDOM; echo touch "$(($i%7))/$(($i%13))/file.$i"; done

물론 이것은 모두 해시 테이블 개념을 성급하게 차용한 것입니다.

이름으로 파일을 삭제하는 것이 고통스러울 정도로 느리지만 엄청나게 빠른 이유는 무엇입니까?

답변1

답변2

관련 정보