데이터 보관 목적에 가장 적합한 파일 시스템(FS)이 무엇인지 알고 싶습니다. 다음은 FS가 충족해야 하는 사용 매개변수 및 요구 사항입니다.
- 백업 미디어는 휴대용 자기 하드 드라이브(HDD)입니다. SDD는 사용되지 않을 것입니다.
- 현재 하드디스크 용량은 5TB입니다. 앞으로는 최대 24TB까지 가능합니다.
- HDD는 거의 연결되지 않으며(한 번에 약 3개월) 모든 백업 아카이브/파일이 디스크에 기록된 후 안전하게 배출됩니다. HDD에서 데이터를 읽는 경우는 거의 없습니다.
- 개별 파일 크기는 때때로 100GB에 도달할 수 있습니다. 일반적으로 크기는 약 5GB입니다.
- ㅏ단일 FS 파티션바람직하다. 데이터 보존을 용이하게 하지 않는 한 다중 파티션을 사용하지 마십시오.
- FS는 다음과 같아야 합니다.Linux에서 완벽하게 지원됨. 오픈 소스 FS가 유리할 것입니다.
- Windows 및 Mac 지원 예불필요한그러나 HDD는 때때로 Windows 또는 Mac 호스트에서 실행되는 Linux 가상 머신에 연결될 수 있습니다.
- FS의 위치는 다음과 같습니다.LUKS 컨테이너. LUKS에서 좋은 성능을 발휘해야 합니다.
- ~해야 한다일어날 가능성이 가장 적은정적 데이터 손상/비트 썩음/ 장기 냉동.
- FS를 지원하는 합리적인 오픈 소스 데이터 복구 도구가 있어야 합니다. 최소한 최근/실수로 삭제된 파일을 복구해야 합니다.
- 배후에서 원활한 데이터 무결성 검사/복원력이 발생해야 합니다.
- 쓰기 도중 실수로 드라이브가 분리되거나 전원이 꺼지는 일이 절대 발생하지 않습니다.
rsync
때때로 소스에서 백업 파일을 쓰는 데 사용될 수 있습니다.- 더 느린 읽기/쓰기 속도를 허용합니다.
답변1
배후에서 원활한 데이터 무결성 검사/복원력이 발생해야 합니다.
이렇게 하면 선택이 제한됩니다
dm-integrity
LUKS 및 성숙한 파일 시스템(예: XFS, ext4) 위에 장치 매퍼 레이어로 사용또는- ZFS 또는 BTRFS에는 LUKS 외에 오류를 감지하기 위한 데이터 체크섬이 함께 제공됩니다. 둘 사이에서는 ZFS가 더 오래되고 성숙하기 때문에 선호되는 선택이라고 생각합니다. 그러나 GPL과 호환되지 않으므로(여전히 오픈 소스) Linux 커널의 일부가 아닙니다.
그러나 1.이나 2. 모두 오류를 지원하지 않습니다.옳은, 이유는 잘 모르겠습니다. 그들은 오류를 지원합니다발각.
오류 수정이 필요한 경우 중복 데이터를 추가해야 합니다. 대개,별도의 두 번째 디스크를 사용하여 이 작업을 수행할 수 있습니다.(말이 됩니다: 비트 오류는 나쁘지만 문제가 발생하여 전체 하드 드라이브가 작동하지 않고 오류가 있는 파일 1개보다 더 큰 문제가 발생하는 경우 가능성이 가장 낮은 시나리오는 아닙니다.)
그러나 시스템에 여러 블록 장치를 갖는 Linux 시스템의 기능을 확실히 남용할 수 있습니다.
- LUKS 암호화 외장 드라이브 보유
pvcreate /dev/mapper/bhavesh'sopenluksvolume
이 LUKS 볼륨 내에는 LVM 물리 볼륨( ) 이 있습니다 .- 이 LVM PV 내에서 LVM 볼륨 그룹(
vgcreate externalvg /dev/mapper/bhavesh'sopenluksvolume
) 을 생성합니다. - 이 LVM VG에서는 3개의 LVM 논리 볼륨(
lvcreate -n first -l 33%VG externalvg ; lvcreate -n second -l 33%VG externalvg ; lvcreate -n third -l 33%VG externalvg
) 을 생성합니다. - 이 세 개의 LVM LV 중에서 RAIDZ1을 사용하여 ZFS Zpool(
zpool create zpool raidz1 /dev/mapper/externalvg-{first,second,third}
) 을 구축합니다.
수학적으로,오류 수정에는 중복된 데이터를 수정하기 위한 공간이 필요합니다.. 이 문제를 해결할 수 없습니다! 이 경우 저장 용량의 66%만 파일에 사용할 수 있습니다.
이제 자가 치유 ZFS 파일 시스템이 생겼습니다. 데이터나 메타데이터가 어딘가에서 손상된 경우 중복성의 도움 없이 오류를 수정할 수 있습니다.
이렇게 하면 비트/섹터 오류에 대한 면역력이 향상됩니다. 그러나 가장 취약한 링크는 단일 외부 디스크입니다. 해당 하드웨어에 오류가 발생하면 데이터가 100% 손실됩니다.
따라서 더 나은 복원력 전략은 두 개의 외부 디스크를 동시에 연결하고 미러링을 사용하는 것입니다. 이 경우 2개의 LUKS 볼륨과 Zmirror 설정으로 Zpool을 설정하기만 하면 더 빠르고 탄력적입니다.
어쨌든 두 개의 디스크를 구입한다면 이것이 바로 제가 할 것입니다.