블록 내용별로 파일을 저장하는 파일 시스템을 찾고 있는데 유사한 파일은 한 블록만 차지합니다. 이는 백업용입니다. 이는 zbackup과 같은 블록 수준 백업 스토리지에 제안된 것과 유사하지만 이를 투명하게 수행할 수 있는 Linux 파일 시스템이 필요합니다.
답변1
귀하의 질문이 중복 제거에 관한 것이라고 가정하면 Linux에서 중복 제거를 지원하는 몇 가지 파일 시스템이 있습니다.
- ZFS에는 온라인 중복 제거 기능이 있지만(데이터가 저장될 때 중복 제거됨) 메모리 요구 사항이 매우 높아 실제로 이 기능을 사용하기 어렵습니다.
- BTRFS, 그리고 "만"대역 외 중복 제거, 비록 데이터가 저장된 후 상당히 빠른 중복 제거를 제공하는 긴밀하게 통합된 프로세스가 있기는 하지만,
- 스쿼시 FS, 그러나 읽기 전용이므로 요구 사항을 충족하지 못할 수 있습니다.
XFS중복 제거는 어느 시점에서 수행되어야 하며 Btrfs는 온라인 중복 제거도 수행해야 합니다.
면밀히Wikipedia의 파일 시스템 비교언제 변경되는지 확인하세요.
답변2
이것S3QL 파일 시스템블록 수준 데이터 중복 제거 기능을 제공합니다. S3 클라우드 스토리지 솔루션으로 판매되지만 로컬 스토리지에서도 잘 작동합니다.
다음은 백업/보관 서버 섹션의 예입니다.
s3qlstat /path/to/some/archives
Directory entries: 12430247
Inodes: 6343756
Data blocks: 1357349
Total data size: 12.4 TB
After de-duplication: 3.84 TB (30.92% of total)
After compression: 3.71 TB (29.84% of total, 96.52% of de-duplicated)
Database size: 1.29 GiB (uncompressed)
Cache size: 0 bytes, 0 entries
Cache size (dirty): 0 bytes, 0 entries
Queued object removals: 0
이 파일 시스템에서 사용되는 기본 스토리지
df -h /var/s3ql/part-of-archive
Filesystem Size Used Avail Use% Mounted on
/dev/sde 6.0T 3.8T 2.0T 66% /var/s3ql/part-of-archive
이는 기본 스토리지가 4TB 미만의 공간을 사용하지만 약 12TB의 중복 제거된 데이터를 저장한다는 것을 나타냅니다. (내 아카이브에 중복된 청크가 많이 있습니다. 예상대로였습니다.) 여기서 압축 레이어는 비활성화되어 있습니다. 실제 S3 스토리지를 사용한다면 활성화할 것입니다.
파일 시스템 자체를 관리하는 SQLite 데이터베이스는 1GB가 조금 넘는 꽤 크지만, 수요가 많은 프로덕션 용도보다는 아카이빙용으로 사용하고 있기 때문에 좋습니다.