ext4 Ubuntu 18.04 파일 시스템 오류 "구조를 정리해야 합니다"

하나의 디렉토리에 많은 수의 디렉토리와 파일을 담을 수 있도록 24TB 디스크를 준비하고 싶습니다.(이 정책을 바꾸라고 하지 마세요. 소프트웨어에서 사용하는 구조이고 우리에게는 블랙박스이므로 우리는 이 방법은 변경할 수 없습니다.) 내가 조사한 바에 따르면 ext4 파일 시스템은 수십억 개의 파일을 디렉토리에 저장할 수 있지만 몇 가지 특수 플래그와 매개변수를 사용하여 준비해야 합니다. 이것은 내 연구를 기반으로 내가 사용하는 것입니다.

sudo mke2fs -T news /dev/sdb1
sudo tune2fs -O dir_index /dev/sdb1
sudo tune2fs -O large_dir /dev/sdb1
sudo tune2fs -O dir_nlink /dev/sdb1


sudo mkdir /hdd
sudo gedit /etc/fstab

- add following to the end of the file:
/dev/sdb1    /hdd    ext4    defaults,noatime    0    0

sudo mount /hdd

구조를 테스트하기 위해 단일 디렉터리에 디렉터리와 파일을 생성하는 bash 스크립트를 준비했습니다. 이 같은:

for ((i = 1000000; i <= 200000000; i++))
do
  sudo mkdir "/hdd/largedir/$i" -p
  sudo cp "sample-file.jpg" "/hdd/largedir/$i"
  if (( $i % 1000 == 0 ));
  then
    echo "$i created";
  fi;
done

몇 시간 작업한 후 시스템을 확인했을 때 다음 오류가 인쇄되었습니다.

Structure needs cleaning

내 테스트에서는 모든 파일과 디렉터리에 대해 이 오류가 인쇄되지 않습니다. 예를 들어 "10000"이라는 디렉터리를 만들 수 있지만 "1000"이라는 디렉터리는 만들 수 없습니다. 또한 다음을 사용하여 해싱 알고리즘을 변경했습니다.

sudo tune2fs -E "hash_alg=tea" /dev/sdb1

시스템을 다시 시작하고 다시 설치했지만 문제가 지속되었습니다. 문제가 무엇인지, 파일 시스템에서 이런 일이 발생하는 이유를 아는 사람이 있습니까? ext4 파일 시스템은 그렇게 큰 구조를 가질 만큼 강력하지 않습니까? 대용량 파일을 처리하기 위해 ext4 대신 xfs를 사용하는 방법에 대한 일부 페이지를 읽었습니다. 이거 진짜야?

파일 작업 중에 시스템에 정전이나 충돌이 발생하지 않았음을 알 수 있습니다. 모든 것이 정상이었을 때는 그런 행동을 기대하지 않았습니다.

-- 추가 정보를 위해 편집됨: --

디스크의 inode 정보는 다음과 같습니다.

Filesystem        Inodes     IUsed     IFree IUse% Mounted on
/dev/sdb1      421216256 183643803 237572453   44% /hdd

공간정보는 다음과 같습니다.

Filesystem      Size  Used Avail Use% Mounted on
/dev/sdb1        26T  3.1T   21T  13% /hdd

파일 시스템을 확인해 보니 ext4입니다(다양한 도구에서 표시됨). 예를 들어 gparted는 파티션 파일 시스템을 ext4로 표시합니다. 기능과 관련하여 위 기능은 우분투 18.04 LTS에서 기본적으로 활성화되어 있지 않습니다. 나는 이전 테스트에서 몇 가지 버그를 발견했고 마침내 이것을 달성했습니다.